论文阅读：Interleaving Pre( 三 ) _plm

贡献。我们的贡献总结如下：
框架。在本文中，我们研究了零样本问题，并引入了一种新颖的框架，该框架首先生成SQL草图，然后完成SQL查询，以逐步解决两个内在的挑战。（第 3 节）优化。我们提出了新技术来解决以下问题的挑战：通过 PLM 生成 SQL 草图（第 4 节）和通过 LLM 完成 SQL 查询（第 5 节）。新的 SOTA 零样本。我们在 Dr. 和两个基准数据集上进行全面的零样本评估，总共 18 个测试集。实验结果表明，可以将在任务上的平均执行精度提高10%到20% ，其性能超越了最先进的基于PLM的特定模型（Exp-1 & Exp-2）），以及情境学习方法（Exp-3）。我们的代码和模型可在1 上找到。（第 6 节）
2、前言
2.1零样本
让 Q 代表自然语言查询 Q ， D代表由n个表
组成的关系型数据库D ，其中
表示表
的第 j 列。的问题是根据问题 Q和提供的数据库 D生成正确的 SQL 查询 S 。根据之前的工作，零样本存在的问题是推理环境
，没有出现在训练集中
，主要包括以下三种情况：
在新数据库上进行测试。用于测试的数据库
在模式和实例方面与用于训练的数据库
不同。例如，训练数据库包含列name ，但测试数据库包含列和。再举一个例子，训练数据库是关于科学的，而测试数据库是关于金融的。
测试新问题。用于测试的问题
在语言现象方面与用于训练的问题
不同。例如，训练集中的问题明确提及数据库模式中的列或表名称，而测试问题中的单词未明确显示在数据库模式中或显示为同义词（例如，图 1 中的问题也可以表示为如 “What isward’s best?”）。
测试新的 SQL 。用于测试的 SQL 查询
在本地语义和复杂性方面与用于训练的 SQL 查询
不同。例如，训练集中只有少量 SQL 查询包含嵌套子句，而测试集中大量 SQL 查询包含嵌套子句。
这项工作的目标是通过交错 PLM 和 LLM 来提升 SOTA 零样本性能。
2.2SQL
在本文中， SQL由以下三个部分组成：
?。需要返回给用户的属性，例如图 5 中的。
? FROM 。用于获取数据的表格，例如图 5 中的。
?。代表子句的关键字，例如、FROM、ORDER BY、LIMIT ，如图 5 所示。
? 图的图示
2.
语言模型（LM）通常基于，旨在理解和生成类似人类的文本。这些模型利用复杂的算法和大量的训练数据来学习语言的模式、结构和语义。从技术上讲，语言模型经过训练可以对单词序列的生成可能性进行建模，从而使它们能够根据提供的输入上下文估计后续标记的概率。事实证明，它们在自然语言处理等各种应用中具有无价的价值。
语言模型通常在大型语料库上进行预训练，并在翻译、摘要和问答等许多下游任务中表现出出色的性能。在本文中，我们区分两个特定术语：预训练语言模型（PLM）和大型语言模型（LLM）。
尽管 PLM 和 LLM 都对大量文本数据进行预训练，但前者主要通过微调来适应下游任务，而后者通过上下文学习和指令跟踪实现零样本复杂推理，而无需改变模型参数。
2.for
最近的工作将任务制定为端到端翻译任务，并利用适当的提示来指导 LM：