[论文解读] Photon: A Robust Cross-Domain Text-to-SQL System

Jichuan Zeng, Xi Lin+5 more|arXiv (Cornell University)|Jul 30, 2020

Topic Modeling参考文献 41被引用 9

一句话总结

Photon 是一个稳健、模块化、跨领域的文本到SQL系统，结合了基于 BERT 的神经语义解析器（在 Spider 开发集上结构准确率达到 63.2%）、一种人机协同的问题纠正模块，可检测并建议修正无法翻译的输入，以及一个支持自然语言响应生成的 SQL 执行模块。通过判别性神经序列编辑和交互式修正，该系统提升了对模糊或无法翻译的用户问题的鲁棒性，从而实现了非专家用户在多样化数据库中的实际部署。

ABSTRACT

Natural language interfaces to databases (NLIDB) democratize end user access to relational data. Due to fundamental differences between natural language communication and programming, it is common for end users to issue questions that are ambiguous to the system or fall outside the semantic scope of its underlying query language. We present Photon, a robust, modular, cross-domain NLIDB that can flag natural language input to which a SQL mapping cannot be immediately determined. Photon consists of a strong neural semantic parser (63.2\% structure accuracy on the Spider dev benchmark), a human-in-the-loop question corrector, a SQL executor and a response generator. The question corrector is a discriminative neural sequence editor which detects confusion span(s) in the input question and suggests rephrasing until a translatable input is given by the user or a maximum number of iterations are conducted. Experiments on simulated data show that the proposed method effectively improves the robustness of text-to-SQL system against untranslatable user input. The live demo of our system is available at http://naturalsql.com.

研究动机与目标

• 为解决文本到SQL系统中用户问题偏离标准表达方式时常见的失败问题，特别是针对无法翻译或模糊的自然语言问题。
• 通过检测无法翻译的输入并借助交互式反馈实现用户修正，提升真实场景部署中的鲁棒性。
• 通过支持跨领域泛化和用户友好的交互，弥合神经文本到SQL模型与工业应用之间的差距。
• 通过早期标记问题输入并引导用户生成可执行查询，减少用户交互过程中的意外错误。

提出的方法

• Photon 采用基于 BERT、具备数据库模式感知能力的编码器-解码器架构进行神经语义解析，使用指针-生成解码器和静态 SQL 正确性检查。
• 问题纠正模块是一种判别性神经序列编辑器，可识别输入问题中的混淆片段，并建议改写以提升可翻译性。
• 系统采用人机协同机制，用户可迭代地优化问题，直至生成有效 SQL 查询。
• 基于模板的响应生成器将 SQL 执行结果转换为自然语言，以增强用户理解。
• 系统设计为模块化流水线：问题修正 → 语义解析 → SQL 执行 → 响应生成。
• 在 Spider 基准上进行评估，重点通过模拟数据和真实用户交互来处理无法翻译的输入。

实验结果

研究问题

• RQ1 文本到SQL系统如何在真实用户交互中检测并处理无法翻译或模糊的自然语言问题？
• RQ2 判别性神经序列编辑器能否有效识别并修正用户问题中的混淆片段，从而提升下游 SQL 生成效果？
• RQ3 交互式修正对跨领域文本到SQL系统的鲁棒性和可用性有何影响？
• RQ4 与仅依赖端到端神经模型相比，集成人机协同修正机制在多大程度上提升了系统可靠性？
• RQ5 神经语义解析器在保持高准确率和对噪声输入的鲁棒性的同时，其在不同领域间的泛化能力如何？

主要发现

• Photon 在 Spider 开发集上实现了 63.2% 的结构准确率，展现出当前最先进神经文本到SQL模型中的强劲性能。
• 神经问题纠正模块能有效检测无法翻译的输入，并引导用户改写问题，显著减少真实部署中的失败案例。
• 模拟实验表明，所提出的纠正机制显著提升了系统对无法翻译用户输入的鲁棒性。
• 系统能够成功处理多样化的自然语言表达，并在未见过的数据库上保持对非专家用户的可用性。
• 模块化与交互式设计使系统具备在工业环境中实际部署的潜力，且可扩展至语音输入、拼写检查和可视化等功能。