[论文解读] Semantic Evaluation for Text-to-SQL with Distilled Test Suites

Ruiqi Zhong, Tao Yu+1 more|arXiv (Cornell University)|Oct 6, 2020

Scientific Computing and Data Management参考文献 39被引用 12

一句话总结

本文提出以测试集准确率作为文本到SQL评估中语义准确率的可靠代理，通过使用经过提炼的数据库测试集来实现，该测试集通过区分相邻查询（即与标准查询仅在语法上略有不同的查询）达到高代码覆盖率。与标准的精确字符串匹配（ESM）度量相比，该方法平均将误报率降低2.5%，最坏情况下为8.1%，并在100个手动验证的示例中被验证为正确。

ABSTRACT

We propose test suite accuracy to approximate semantic accuracy for Text-to-SQL models. Our method distills a small test suite of databases that achieves high code coverage for the gold query from a large number of randomly generated databases. At evaluation time, it computes the denotation accuracy of the predicted queries on the distilled test suite, hence calculating a tight upper-bound for semantic accuracy efficiently. We use our proposed method to evaluate 21 models submitted to the Spider leader board and manually verify that our method is always correct on 100 examples. In contrast, the current Spider metric leads to a 2.5% false negative rate on average and 8.1% in the worst case, indicating that test suite accuracy is needed. Our implementation, along with distilled test suites for eleven Text-to-SQL datasets, is publicly available.

研究动机与目标

• 为解决文本到SQL中长期存在的语义评估不可靠问题，即精确字符串匹配因句法差异导致误报率过高。
• 通过使用覆盖多种查询行为的测试集，减少基于单个数据库表示结果评估带来的误报率。
• 开发一种高效、可扩展的方法，以近似语义准确率，而无需在所有可能的数据库上进行完整等价性检查。
• 创建一个高覆盖率、紧凑的测试集，能够以最低计算成本区分语义错误的预测与标准查询。
• 为评估文本到SQL模型提供更准确、更可靠的基准，尤其当模型生成的查询日益复杂且多样化时。

提出的方法

• 生成1,000个随机数据库组成的大型集合，作为测试查询等价性的模糊测试池。
• 将相邻查询定义为仅在单个句法组件（如单个WHERE条件）上与标准查询不同的查询，代表模型可能产生的错误。
• 从池中选择一小部分数据库，使其能够区分所有相邻查询与标准查询，确保高代码覆盖率。
• 将搜索目标形式化为最大化可区分的相邻查询数量，以确保测试集质量。
• 使用生成的提炼测试集通过测量所有测试数据库上的表示结果准确率来评估模型预测。
• 通过将该方法的判断与100个模型预测中ESM与测试集准确率不一致的手动验证结果进行比较，来验证该方法。

实验结果

研究问题

• RQ1 一个小型、自动生成的数据库测试集能否作为文本到SQL评估中语义准确率的有效代理？
• RQ2 在多种模型预测中，测试集准确率与精确字符串匹配（ESM）在误报率方面的表现如何比较？
• RQ3 测试集准确率在多大程度上反映了真正的语义等价性，特别是在句法差异不影响表示结果的情况下？
• RQ4 该测试集在多大程度上捕捉了标准查询的代码覆盖率，能否检测出ESM所遗漏的细微语义错误？
• RQ5 当前Spider数据集中使用的ESM度量是否可靠地反映了语义准确率，还是系统性地扭曲了复杂查询上模型的性能表现？

主要发现

• 与标准ESM度量相比，测试集准确率将误报率平均降低至2.5%，最坏情况下为8.1%。
• 在100个手动验证的示例中，当ESM与测试集准确率判断不一致时，测试集准确率在所有情况下均正确，证实了其可靠性。
• ESM度量系统性地低估了模型性能，尤其在模型生成语义正确但句法不同的查询时。
• ESM度量错误地呈现了最先进模型的性能：一个语义准确率为61%的模型在ESM下被低估了8%，而五个表现较差的模型反而被高估。
• ESM与语义准确率之间的差异随查询复杂度增加而增大，表明随着模型性能提升，ESM的可靠性逐渐下降。
• 针对Spider的提炼测试集对相邻查询的覆盖率超过99%，证明了其测试质量与高代码覆盖率。