[论文解读] TableQA: a Large-Scale Chinese Text-to-SQL Dataset for Table-Aware SQL Generation

Ningyuan Sun, Xuefeng Yang+1 more|arXiv (Cornell University)|Jun 10, 2020

Topic Modeling参考文献 24被引用 14

一句话总结

本文提出了TableQA，一个大规模中文文本到SQL数据集，包含64,891个问题和20,311个唯一SQL查询，覆盖6,000张表格，强调实体链接和可回答性。该研究提出两种表格感知模型，在SOTA基础上将条件值准确率提升4.7%，逻辑形式准确率提升3.4%，证明了该数据集的挑战性与实用性。

ABSTRACT

Parsing natural language to corresponding SQL (NL2SQL) with data driven approaches like deep neural networks attracts much attention in recent years. Existing NL2SQL datasets assume that condition values should appear exactly in natural language questions and the queries are answerable given the table. However, these assumptions may fail in practical scenarios, because user may use different expressions for the same content in the table, and query information outside the table without the full picture of contents in table. Therefore we present TableQA, a large-scale cross-domain Natural Language to SQL dataset in Chinese language consisting 64,891 questions and 20,311 unique SQL queries on over 6,000 tables. Different from exisiting NL2SQL datasets, TableQA requires to generalize well not only to SQL skeletons of different questions and table schemas, but also to the various expressions for condition values. Experiment results show that the state-of-the-art model with 95.1% condition value accuracy on WikiSQL only gets 46.8% condition value accuracy and 43.0% logic form accuracy on TableQA, indicating the proposed dataset is challenging and necessary to handle. Two table-aware approaches are proposed to alleviate the problem, the end-to-end approaches obtains 51.3% and 47.4% accuracy on the condition value and logic form tasks, with improvement of 4.7% and 3.4% respectively.

研究动机与目标

• 解决现有NL2SQL数据集假设精确提及匹配且保证可回答性的局限性。
• 构建一个大规模、跨领域的中文NL2SQL数据集，包含不可回答问题以及条件值的多样化表达。
• 推动在文本到SQL生成中对实体链接和可回答性检测的研究，这对实际应用至关重要。
• 开发并评估表格感知模型，以提升条件值预测和逻辑形式准确率的泛化能力。

提出的方法

• 构建一个包含64,891个自然语言问题和20,311个唯一SQL查询的数据集，覆盖6,000多张来自不同领域的表格。
• 包含超过5,000个不可回答问题，用于评估可回答性检测，确保贴近真实用户场景。
• 设计两种表格感知方法：一种包含离线值识别步骤，另一种采用端到端的表格感知机制。
• 联合建模表格内容与问题语义，以预测条件值，减少因表达差异导致的不匹配。
• 使用逻辑形式准确率和执行准确率作为评估指标，与WikiSQL和Spider基准保持一致。
• 确保训练集、验证集和测试集在表格层面互不重叠，以检验跨模式的泛化能力。

实验结果

研究问题

• RQ1 在需要实体链接和可回答性检测的数据集上，SOTA NL2SQL模型的性能会如何下降？
• RQ2 在复杂、真实的NL2SQL场景中，表格感知机制在多大程度上能提升条件值和逻辑形式的准确率？
• RQ3 在面对表达差异和不可回答问题时，现有解耦模型的关键失败模式是什么？
• RQ4 联合建模表格内容与问题文本是否能显著减少条件值预测中的错误？

主要发现

• WikiSQL上的SOTA模型（条件值准确率为95.1%）在TableQA上下降至仅46.8%，表明该数据集具有显著挑战性。
• TableQA上的逻辑形式准确率从WikiSQL上的85.9%下降至最佳基线的43.0%，凸显了复杂SQL结构和表达差异带来的困难。
• 所提出的端到端表格感知模型达到51.3%的条件值准确率和47.4%的逻辑形式准确率，分别较基线提升4.7%和3.4%。
• 错误分析显示，数值条件中单位不一致（如'200K'与'10,000'）是主要失败原因，需要跨模态理解能力。
• 解耦模型存在误差累积问题，尤其在序列化条件预测中，列或操作预测的错误会传播至值预测阶段。
• 现有模型在可回答性检测上的F1分数仅约0.6，表明在识别不可回答问题方面仍存在巨大差距。