[论文解读] One-Shot Learning for Text-to-SQL Generation

Dongjun Lee, Jaesik Yoon+3 more|arXiv (Cornell University)|Apr 26, 2019

Topic Modeling参考文献 31被引用 12

一句话总结

本文提出了一种一次学习（one-shot learning）方法用于文本到SQL生成，通过单个示例实现对未见过的SQL模板的零样本适应。该方法结合候选搜索网络（Candidate Search Network）以检索前n个相关模板，以及匹配网络（Matching Network）进行分类，随后通过指针网络（Pointer Network）填充槽位，从而在无需微调的情况下，对未见过的模板实现了52%的相对性能提升。

ABSTRACT

Most deep learning approaches for text-to-SQL generation are limited to the WikiSQL dataset, which only supports very simple queries. Recently, template-based and sequence-to-sequence approaches were proposed to support complex queries, which contain join queries, nested queries, and other types. However, Finegan-Dollak et al. (2018) demonstrated that both the approaches lack the ability to generate SQL of unseen templates. In this paper, we propose a template-based one-shot learning model for the text-to-SQL generation so that the model can generate SQL of an untrained template based on a single example. First, we classify the SQL template using the Matching Network that is augmented by our novel architecture Candidate Search Network. Then, we fill the variable slots in the predicted template using the Pointer Network. We show that our model outperforms state-of-the-art approaches for various text-to-SQL datasets in two aspects: 1) the SQL generation accuracy for the trained templates, and 2) the adaptability to the unseen SQL templates based on a single example without any additional training.

研究动机与目标

• 解决现有文本到SQL模型在泛化到未见过的SQL模板时的局限性。
• 仅通过一个示例实现对新SQL查询结构的有效零样本适应。
• 缩小搜索空间并确保生成SQL的语法正确性。
• 提升泛化能力，超越WikiSQL风格的简单查询，支持包含连接、分组和嵌套的复杂查询。
• 开发一种可扩展、可训练的模型，支持新代码生成模板而无需重新训练。

提出的方法

• 引入候选搜索网络（Candidate Search Network, CSN），从大规模候选模板集中筛选出最相关的前n个模板，从而实现少样本学习中支持集的高效构建。
• 在CSN筛选出的支持集上应用匹配网络（Matching Network），将输入问题分类到最合适的SQL模板。
• 使用指针网络（Pointer Network）通过从输入问题中选择标记来填充预测模板中的可变槽位，确保语法正确性。
• 该模型分为两个阶段运行：(1) 使用CSN + 匹配网络进行模板分类；(2) 通过指针网络进行槽位填充。
• 通过定义模板和可变槽位，该架构可扩展至其他代码生成任务。
• 在基于问题和基于查询的两种划分下进行评估，以衡量模型在已见和未见模板上的性能表现。

实验结果

研究问题

• RQ1 仅通过一个示例，文本到SQL模型是否能在不重新训练的情况下泛化到未见过的SQL模板？
• RQ2 所提出的候选搜索网络（CSN）在大规模模板集合中，对减少模板分类的搜索空间方面有多高效？
• RQ3 将CSN与匹配网络结合是否在未见过的SQL模板上优于基线少样本学习方法？
• RQ4 在已见和未见模板上，模型在模板分类与槽位填充方面的准确率退化程度如何比较？
• RQ5 该模型在复杂查询中在多大程度上保持语法正确性，避免错误的SQL生成？

主要发现

• 在基于问题的划分中，所提模型在泛化到训练过的模板上，性能优于最先进方法3%至9%。
• 在基于查询的划分中，该模型在一次学习设置下，对未见过的模板实现了52%的相对性能提升，且无需任何额外训练。
• 消融实验表明，将CSN与匹配网络结合，相比仅使用匹配网络，性能提升达19.0%至42.0%，证明了CSN在可扩展性中的关键作用。
• 候选搜索网络在基于问题的划分中，对前15个相关模板的识别准确率达94%至100%，但在基于查询的划分中性能下降6%至19%。
• 模板分类比槽位填充更具挑战性，准确率从基于问题的划分到基于查询的划分下降9%至35%，表明这是零样本泛化的关键瓶颈。
• 指针网络在所有数据集上均实现了高槽位填充准确率（91%至98%），从已见模板到未见模板的退化仅2%至12%，表明其在可变槽位预测中具有强鲁棒性。