[论文解读] SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers

Bowen Qin, Lihan Wang+8 more|arXiv (Cornell University)|Sep 14, 2022

Natural Language Processing Techniques被引用 6

一句话总结

本文提出SUN方法，通过建模数据内在不确定性和模型不确定性，提升文本到SQL解析的性能。该方法引入数据不确定性约束，利用语义等价问题进行鲁棒表示学习；通过扰动编码器实现模型不确定性约束，增强泛化能力，在五个基准数据集上取得最先进性能，尤其在复杂和分布外查询上取得显著提升。

ABSTRACT

This paper aims to improve the performance of text-to-SQL parsing by exploring the intrinsic uncertainties in the neural network based approaches (called SUN). From the data uncertainty perspective, it is indisputable that a single SQL can be learned from multiple semantically-equivalent questions.Different from previous methods that are limited to one-to-one mapping, we propose a data uncertainty constraint to explore the underlying complementary semantic information among multiple semantically-equivalent questions (many-to-one) and learn the robust feature representations with reduced spurious associations. In this way, we can reduce the sensitivity of the learned representations and improve the robustness of the parser. From the model uncertainty perspective, there is often structural information (dependence) among the weights of neural networks. To improve the generalizability and stability of neural text-to-SQL parsers, we propose a model uncertainty constraint to refine the query representations by enforcing the output representations of different perturbed encoding networks to be consistent with each other. Extensive experiments on five benchmark datasets demonstrate that our method significantly outperforms strong competitors and achieves new state-of-the-art results. For reproducibility, we release our code and data at https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/sunsql.

研究动机与目标

• 解决现有文本到SQL解析器依赖问题与SQL之间一对一映射的局限性，忽略语义等价变体的问题。
• 通过捕捉多个语义等价问题之间的互补语义信息，提升模型鲁棒性。
• 通过在扰动网络间保持一致表示来量化并约束模型不确定性，降低模型敏感性，增强泛化能力。
• 开发一种与模型无关的框架，可适用于任何基于深度神经网络的文本到SQL解析器。

提出的方法

• 引入数据不确定性约束，将多个语义等价问题聚合到一个封闭的语义区域中，以丰富特征表示。
• 采用对比学习目标，对齐语义等价问题的表示，减少虚假关联，提升语义覆盖范围。
• 通过强制同一输入问题在两个dropout扰动编码网络中的输出表示保持一致，施加模型不确定性约束。
• 利用基于dropout的扰动模拟权重不确定性，在不修改网络结构的前提下稳定表示学习。
• 在训练过程中联合使用两种不确定性约束，共同优化鲁棒性与泛化能力。
• 采用通用、即插即用的训练策略，可直接应用于现有文本到SQL模型，无需修改网络架构。

实验结果

研究问题

• RQ1 如何利用源自多个语义等价问题的内在数据不确定性，提升文本到SQL解析器的鲁棒性？
• RQ2 通过互补语义学习建模数据不确定性，在分布外或复杂查询上的泛化能力能提升到何种程度？
• RQ3 在扰动编码器输出间强制保持一致性，能否降低模型不确定性并提升文本到SQL解析的泛化能力？
• RQ4 所提出的数据与模型不确定性约束在不同基准上，各自及联合贡献如何影响性能提升？

主要发现

• SUN在五个基准数据集上达到最先进性能，优于包括LGESQL和ALIGN+RoBERTa在内的强基线模型。
• 在Spider数据集上，SUN相比最强基线模型，精确匹配（EM）提升1.5分，执行准确率（EX）提升1.0分。
• 在Dk数据集上，SUN在超难查询上相比基线模型提升4.2%，展现出在复杂情况下的强鲁棒性。
• 消融实验表明，数据与模型不确定性约束均不可或缺，当移除数据不确定性约束时，性能下降1.1–1.5分。
• 模型不确定性约束贡献显著，当移除该约束时，Syn开发集的EM下降0.8分，凸显其在稳定性中的关键作用。
• 定性案例研究显示，SUN能对语义等价问题生成一致且正确的SQL，而基线模型在表达式变体间无法泛化。