[论文解读] ValueNet: A Neural Text-to-SQL Architecture Incorporating Values

Ursin Brunner, Kurt Stockinger|arXiv (Cornell University)|May 29, 2020

Topic Modeling参考文献 41被引用 7

一句话总结

ValueNet 和 ValueNet light 是首个将用户问题中的值整合到 SQL 生成过程中的端到端神经文本到 SQL 模型，利用数据库元数据和基础数据来提取隐式和显式的值候选。在更具有挑战性的评估指标下，它们在 Spider 数据集上分别实现了 64% 和 60% 的最先进执行准确率。

ABSTRACT

Building natural language interfaces for databases has been a long-standing challenge for several decades. The major advantage of these so-called text-to-SQL systems is that end-users can query complex databases without the need to know SQL or the underlying database schema. Due to significant advancements in machine learning, the recent focus of research has been on neural networks to tackle this challenge on complex datasets like Spider. Several recent text-to-SQL systems achieve promising results on this dataset. However, none of them extracts and incorporates values from the user questions for generating SQL statements. Thus, the practical use of these systems in a real-world scenario has not been sufficiently demonstrated yet. In this paper we propose ValueNet light and ValueNet -- the first end-to-end text-to-SQL system incorporating values on the challenging Spider dataset. The main idea of our approach is to use not only metadata information about the underlying database but also information on the base data as input for our neural network architecture. In particular, we propose a novel architecture sketch to extract values from a user question and come up with possible value candidates which are not explicitly mentioned in the question. We then use a neural model based on an encoder-decoder architecture to synthesize the SQL query. Finally, we evaluate our model on the Spider challenge using the Execution Accuracy metric, a more difficult metric than used by most participants of the challenge. Our experimental evaluation demonstrates that ValueNet light and ValueNet reach state-of-the-art results of 64% and 60% accuracy, respectively, for translating from text to SQL, even when applying this more difficult metric than used by previous work.

研究动机与目标

• 解决现有文本到 SQL 系统未能整合用户问题中值的问题，从而限制了其在真实场景中的适用性。
• 实现端到端的文本到 SQL 生成，同时利用数据库模式元数据和实际基础数据值。
• 通过识别并利用输入问题中未明确提及的值候选，提升文本到 SQL 系统的实际可用性。
• 在 Spider 数据集上实现最先进性能，采用执行准确率作为评估指标，该指标比以往研究中常用的指标更具严格性。

提出的方法

• 提出一种新颖的架构设计，用于从用户问题中提取值并生成可能的值候选，包括未明确陈述的值。
• 将元数据（如表名和列名）和基础数据（如数据库中的实际值）同时作为神经模型的输入。
• 采用编码器-解码器神经架构，基于自然语言输入和提取的值生成 SQL 查询。
• 采用两阶段流程：第一阶段为值提取与候选生成；第二阶段为使用增强的输入表示生成 SQL。
• 在 Spider 数据集上端到端训练模型，使用标准 SQL 查询作为监督信号。
• 采用执行准确率进行评估，该指标衡量生成的 SQL 在数据库上执行后是否返回正确结果。

实验结果

研究问题

• RQ1 将用户问题中的值整合到文本到 SQL 系统中，是否能提升其在复杂真实数据库上的准确性？
• RQ2 除了模式元数据外，整合基础数据值在多大程度上能提升 SQL 生成性能？
• RQ3 神经模型在多大程度上能够识别并利用未在输入问题中明确提及的隐式值候选？
• RQ4 与先前方法相比，所提出的方法是否在更严格的执行准确率指标下实现了最先进结果？

主要发现

• ValueNet light 在 Spider 数据集上实现了 64% 的执行准确率，创下该更具有挑战性的执行准确率指标下的新 SOTA 结果。
• ValueNet 实现了 60% 的执行准确率，尽管其结构更复杂，但仍表现出强劲性能。
• 基础数据值的整合显著提升了模型生成正确 SQL 查询的能力，尤其是在涉及隐式值引用的情况下。
• 所提出的值提取机制成功识别出用户问题中未明确提及的值候选，增强了模型的鲁棒性。
• 在使用执行准确率评估时，该模型在 Spider 基准测试中优于先前方法，而执行准确率是衡量真实世界性能更可靠的指标，而非查询级准确率。
• 结果证实，同时整合模式元数据和实际数据值可构建更准确、更具实用性的文本到 SQL 系统。