[论文解读] SQLBench: A Comprehensive Evaluation for Text-to-SQL Capabilities of Large Language Models

Bin Zhang, Yuxiao Ye+9 more|arXiv (Cornell University)|Mar 5, 2024

Topic Modeling被引用 8

一句话总结

本文构建了一个鲁棒的多任务基准和数据集，用于评估大语言模型在文本转SQL上的能力，分析提示模板与上下文学习，研究自我调试和SQL优化，并比较通用模型与专注于编码的模型。

ABSTRACT

Large Language Models (LLMs) have emerged as a powerful tool in advancing the Text-to-SQL task, significantly outperforming traditional methods.Nevertheless, as a nascent research field, there is still no consensus on the optimal prompt templates and design frameworks. Additionally, existing benchmarks inadequately explore the performance of LLMs across the various sub-tasks of the Text-to-SQL process, which hinders the assessment of LLMs' cognitive capabilities and the optimization of LLM-based solutions. To address the aforementioned issues, we firstly construct a new dataset designed to mitigate the risk of overfitting in LLMs. Then we formulate five evaluation tasks to comprehensively assess the performance of diverse methods across various LLMs throughout the Text-to-SQL process.Our study highlights the performance disparities among LLMs and proposes optimal in-context learning solutions tailored to each task. These findings offer valuable insights for facilitating the development of LLM-based Text-to-SQL systems.

研究动机与目标

• 推动在文本转SQL领域对大语言模型进行系统性基准测试，以解决过拟合和提示设计方面的差距。
• 创建一个涵盖五个子任务的细粒度基准，以反映文本转SQL的过程。
• 开发数据集（BigTable-0.2k）以减轻过拟合并确保评估的多样性和挑战性。
• 确定针对不同模型家族的最佳上下文学习策略和提示模板。
• 提供见解以指导鲁棒的基于LLM的文本转SQL系统的开发。

提出的方法

• 通过改变问题复杂性、数据库规模和前置知识来构建一个可减轻过拟合的文本转SQL数据集。
• 定义五个评估任务：文本转SQL、SQL 调试、SQL 优化、模式链接和 SQL-to-Text。
• 系统地在提示模板和上下文粒度下，针对多种LLM（通用型与编码专用型）进行系统测试。
• 提出并评估一组统一的提示模板（特别是 SimpleDDL-MD-Chat）用于端到端文本转SQL。
• 引入基于 BIRD 的扩展数据集 BigTable-0.2k，用于压力测试多表查询和外部知识推理。
• 评估具有不同错误信息粒度和回合数的自我调试，以量化性能提升。
• 通过 VES 评估 SQL 优化，并引入 C-VES，以区分优化质量与正确性。
• 探索 SQL-to-Text 作为语义性健全性检查，以及评估模型描述能力。

实验结果

研究问题

• RQ1 不同的LLM在文本转SQL管道的子任务上如何表现？
• RQ2 哪些提示模板结构和上下文粒度在跨模型的端到端文本转SQL性能中表现最好？
• RQ3 LLMs能否在不损害正确性的前提下有效地自我调试和自我优化SQL查询？
• RQ4 通用型LLM与编码专用型LLM在文本转SQL中的作用是什么，它们在现实、较大模式下的表现如何？
• RQ5 SQL-to-Text是否为模型理解和错误分析提供了有意义的见解？

主要发现

• 在端到端文本转SQL的测试模型中，提示 SimpleDDL-MD-Chat 一致产生最高的 EX。
• 面向编码的模型（SQLCoder-34B、CodeLlama）在 Spider/BIRD 变体上通常优于其他模型，而一些通用模型（InternLM、InternLM2-20B）在特定数据集上缩小差距。
• 当真实表格（GT）数量增加时，EX下降；较高的平均列数也增加难度。
• 详细的错误信息和注释显著提升自我调试的有效性，对大多数模型而言，1-2轮最优。
• 直接生成高效 SQL（无需多轮调试）有时能超越多阶段优化，挑战对上下文中优化的假设。
• SQL-to-Text 结果表明通用型模型在语义描述任务上优于面向编码的模型。
• 新颖的 BigTable-0.2k 数据集及结构化评估揭示了不同模型家族在性能差距和任务特定优势。