[论文解读] UniSAr: A Unified Structure-Aware Autoregressive Language Model for Text-to-SQL

Longxu Dou, Yan Gao+5 more|arXiv (Cornell University)|Mar 15, 2022

Topic Modeling被引用 7

一句话总结

UniSAr 提出了一种统一的、结构感知的自回归语言模型，用于文本到 SQL 任务，通过三种非侵入式扩展提升了现成模型（如 BART）的性能：用于模式和上下文编码的结构标记、用于生成有效 SQL 的约束解码，以及用于推断缺失 JOIN 的 SQL 补全。该模型在七个多样化的文本到 SQL 基准测试中实现了最先进或相当的性能，涵盖多领域、多表和多轮设置，展示了强大的泛化能力以及与多任务训练的兼容性。

ABSTRACT

Existing text-to-SQL semantic parsers are typically designed for particular settings such as handling queries that span multiple tables, domains or turns which makes them ineffective when applied to different settings. We present UniSAr (Unified Structure-Aware Autoregressive Language Model), which benefits from directly using an off-the-shelf language model architecture and demonstrates consistently high performance under different settings. Specifically, UniSAr extends existing autoregressive language models to incorporate three non-invasive extensions to make them structure-aware: (1) adding structure mark to encode database schema, conversation context, and their relationships; (2) constrained decoding to decode well structured SQL for a given database schema; and (3) SQL completion to complete potential missing JOIN relationships in SQL based on database schema. On seven well-known text-to-SQL datasets covering multi-domain, multi-table and multi-turn, UniSAr demonstrates highly comparable or better performance to the most advanced specifically-designed text-to-SQL models. Importantly, our UniSAr is non-invasive, such that other core model advances in text-to-SQL can also adopt our extensions to further enhance performance.

研究动机与目标

• 为解决现有文本到 SQL 模型在特定设置（如多领域、多表或多轮任务）下泛化能力不足的问题。
• 开发一种统一框架，在无需针对任务修改架构的前提下，保持在多样化文本到 SQL 设置下的高性能。
• 通过非侵入式方式引入结构知识，提升预训练语言模型在文本到 SQL 任务中的鲁棒性和泛化能力。
• 通过采用简单共享架构，实现不同文本到 SQL 基准之间的有效多任务训练。

提出的方法

• 引入结构标记——插入输入序列中的特殊标记——以序列化格式编码数据库模式、对话上下文及其关系。
• 在生成过程中应用约束解码，将输出标记限制为仅数据库模式中存在的标记，确保生成 SQL 查询的句法和语义正确性。
• 提出 SQL 补全方法，通过分析模式结构推断并插入缺失的 JOIN 条件，提升生成查询的完整性。
• 在不修改其核心架构的前提下，将这三个组件扩展至预训练自回归模型（BART）中，实现非侵入式集成。
• 通过在多个数据集（如 WikiSQL、Spider、CoSQL）上进行联合训练，提升模型的泛化能力和鲁棒性。
• 在消融研究中使用“最优结构标记”以估计通过改进模式关联所获得的性能提升上限。

实验结果

研究问题

• RQ1 统一的、非侵入式框架是否能在多领域、多表和多轮等多样化文本到 SQL 设置中实现具有竞争力的性能？
• RQ2 结构标记、约束解码和 SQL 补全在提升文本到 SQL 生成的准确性和鲁棒性方面效果如何？
• RQ3 当联合训练时，UniSAr 在不同数据集上的泛化能力如何，尤其是与特定任务的模型相比？
• RQ4 通过更高质量的结构标记，性能提升的上限是多少？

主要发现

• 在单表设置下的 Spider 测试集上，UniSAr 达到 86.7% 的逻辑形式准确率，优于 BART（83.7%），并匹配或超过 RAT-SQL（单任务 78.0%，联合 77.5%）。
• 在多轮数据集（CoSQL、SParC、Chase）上，UniSAr 在联合训练中分别较 BART 提升 +8.7%、+11.7% 和 +5.9%，表明其具备强大的上下文建模能力。
• 在单表（WikiSQL）和多表（Spider）数据集的联合训练中，UniSAr 保持了高性能（Spider 测试集准确率为 70.0%），展现出对数据分布不平衡的鲁棒性。
• 最优结构标记实验显示，在 Spider 上性能提升 1.2%，在 Chase 上最高达 11.7%，表明改进模式关联可进一步提升性能。
• UniSAr 在所有基准测试中均优于 BART，并在多数情况下匹配或超过 RAT-SQL，证明非侵入式扩展可媲美特定任务设计。
• 该模型在多任务训练中表现出色，各项设置下均获得正向性能增益，而像 RAT-SQL 这类特定任务模型则存在过拟合问题。