论文阅读：Interleaving Pre _plm

摘要：
零样本在实现自然语言到SQL中至关重要，它能够在0注释的样例环境中自适应新的数据库、新的SQL语言。现有的研究方法要么根据带注释的数据去微调预训练模型（PLM），要么使用提示词指导大语言模型(LLM) 。PLM 在模式对齐方面表现良好，但难以实现复杂推理，而 LLM 在复杂推理任务中表现出色，但无法实现精确的模式对齐。在本文中，我们提出了一个框架，它结合了 PLM 和 LLM 的互补优势，以支持零样本。首先使用 PLM 通过模式对齐生成 SQL 草图，然后使用 LLM 通过复杂推理来填充缺失的信息。此外，为了更好地将生成的 SQL 查询与给定数据库实例中的值对齐，我们设计了一种谓词校准方法来指导 LLM 根据数据库实例完成 SQL 草图，并通过基于执行的 SQL 查询来选择最佳 SQL。综合实验表明，可以在实际基准测试中实现最佳的零样本性能。具体来说，的执行精度比最先进的基于 PLM 的方法高 3.2% 到 13% ，比基于 LLM 的方法高 10% 到 20% 。
引言：
自然语言到 SQL () ，它将自然语言问题转换为 SQL 查询，允许非技术用户轻松访问和分析数据，因此对于商业智能、数据分析和其他数据驱动的应用程序非常有用。图 1 说明了如何将针对数据库D提出的问题Q转换为 SQL 查询S 。
? 图1翻译示例
零样本。尽管现有的方法在众所周知的基准测试（例如数据集）上表现出了令人印象深刻的性能，但它们的结果是在测试数据与训练数据相同的分布的情况下进行的。然而，在许多实际场景中，的测试环境可能与训练环境不同。这种差距往往会极大地降低现有方法的性能。例如，在学术数据库上训练的方法可能在金融数据库上表现不佳，或者当测试数据具有不同的语言现象或 SQL 结构时。
针对上述问题，本文研究了零样本，旨在构建适应各种测试环境的模型，并且测试环境所需的带注释的样本为零。为了实现这一目标，我们必须解决零样本中出现的以下三个挑战。
数据库模式对齐。在任务中，了解底层数据库的结构对于生成准确的 SQL 查询至关重要。然而，将自然语言问题与数据库模式中适当的表、列和关系正确对齐可能具有挑战性，特别是当存在多个可能与问题匹配的表时。例如，在图1中，表和表都包含一个列“” ，因此很难选择合适的表。复杂的自然语言推理。任务通常涉及需要高级推理能力的复杂自然语言问题。理解问题的语义、解决歧义并执行逻辑推演对于生成精确的 SQL 查询是必要的。例如，在图 1 中，有效的模型必须能够根据“名为ward 的学生”推断列和列。当查询涉及复杂的联接、嵌套条件或聚合时，这些任务变得更具挑战性。数据库实例对齐。这涉及将自然语言问题中提供的信息映射到数据库中存储的相关数据值。在任务中，模型需要理解问题的意图并识别与问题和数据库内容匹配的特定谓词。例如，在图 1 中，模型需要生成一个 SQL 谓词= ‘timmy’（而不是 ‘’），该谓词与问题一致并存在于数据库中。
最先进的模型的优点和局限性。的最先进（SOTA）解决方案主要依赖于基于的语言模型，该模型分为两类：预训练语言模型（PLM）和大型语言模型（LLM）。