[论文解读] Natural Language Data Interfaces: A Data Access Odyssey (Invited Talk)

Koutrika, Georgia|arXiv (Cornell University)|Jul 9, 2018

Topic Modeling参考文献 36被引用 68

一句话总结

本文提出执行引导解码（execution-guided decoding）方法，通过在解码过程中利用部分程序执行来过滤语义无效的SQL查询，从而提升神经文本到SQL生成的性能。通过将自回归模型条件化于运行时执行结果，该方法在WikiSQL数据集上将执行准确率最高提升5.4%，达到83.8%的新SOTA结果。

ABSTRACT

Back in 1970’s, E. F. Codd worked on a prototype of a natural language question and answer application that would sit on top of a relational database system. Soon, natural language interfaces for databases (NLIDBs) became the holy grail for the database community. Different approaches have been proposed from the database, machine learning and NLP communities. Interest in the topic has had its peaks and valleys. After a long and adventurous journey of almost 50 years, there is a rekindled interest in NLIDBs in recent years, fueled by the need for democratizing data access and by the recent advances in deep learning and natural language processing in particular. There is a surge of works on natural language interfaces for databases using neural translation, and suddenly it becomes hard to keep up with advancements in the field. Are we close to finding the holy grail of data access? What are the lurking challenges that we need to surpass and what research opportunities arise? Finally, what is the role of the database community?

研究动机与目标

• 为解决从自然语言问题生成语法和语义上均有效的SQL查询的挑战。
• 通过在解码过程中利用部分程序执行，减少神经文本到SQL生成中的运行时错误和空结果集。
• 开发一种通用的推理时技术，无需微调即可提升多种最先进模型的性能。
• 通过在解码早期阶段过滤错误的部分程序，提升WikiSQL、ATIS和GeoQuery等基准数据集上的执行准确率。

提出的方法

• 将SQL执行引擎集成到束搜索解码过程中，以在中间时间步评估部分生成的查询。
• 在解码过程中过滤掉产生解析错误、运行时类型不匹配或空结果集的束候选。
• 将执行引导作为不可微分的条件信号应用于解码器，实现过滤而不修改模型的训练目标。
• 通过集成执行引导解码，扩展了四种最先进模型——Pointer-SQL、带注意力的Seq2Seq、基于模板的模型以及Coarse2Fine。
• 采用束搜索算法，仅在每个解码步骤保留可执行的部分程序，依据执行结果进行筛选。
• 采用固定束大小（k=5），并在经过精心选择的解码步骤上应用执行检查，以平衡效率与效果。

实验结果

研究问题

• RQ1 在解码过程中利用部分程序执行是否能有效消除神经文本到SQL生成中的语义无效SQL查询？
• RQ2 执行引导解码是否能在多种不同复杂度的文本到SQL模型和数据集上普遍提升性能？
• RQ3 执行引导对特定SQL组件（如条件和聚合函数）的生成有何影响？
• RQ4 执行引导能否作为即插即用的推理时模块应用于现有模型，而无需重新训练或修改网络结构？

主要发现

• 执行引导解码在所有评估的模型和数据集中将执行准确率提升了1%至6%，表现出一致的增益。
• 采用执行引导的Coarse2Fine模型在WikiSQL数据集上实现了83.8%的新SOTA执行准确率，相比之前的78.4%显著提升。
• 执行引导对条件生成的影响尤为显著，显著减少了错误或过于严格的WHERE子句。
• 基于执行结果的过滤——特别是针对运行时错误和空输出——比单纯依赖模型似然性在解码过程中更为有效。
• 该方法在序列到序列和基于模板的模型中均具有普遍适用性和有效性，表现出广泛的兼容性。
• 消融研究证实，在中间解码步骤进行细粒度的执行检查对于早期剔除错误候选至关重要。