[论文解读] Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL

Zijin Hong, Zheng Yuan+5 more|arXiv (Cornell University)|Jun 12, 2024

Advanced Computational Techniques and Applications被引用 11

一句话总结

这份综述全面评估基于 LLM 的 text-to-SQL，涵盖挑战、数据集、评估指标、方法（ICL 和 FT）、模型，以及未来方向。

ABSTRACT

Generating accurate SQL from users' natural language questions (text-to-SQL) remains a long-standing challenge due to the complexities involved in user question understanding, database schema comprehension, and SQL generation. Traditional text-to-SQL systems, which combine human engineering and deep neural networks, have made significant progress. Subsequently, pre-trained language models (PLMs) have been developed for text-to-SQL tasks, achieving promising results. However, as modern databases and user questions grow more complex, PLMs with a limited parameter size often produce incorrect SQL. This necessitates more sophisticated and tailored optimization methods, which restricts the application of PLM-based systems. Recently, large language models (LLMs) have shown significant capabilities in natural language understanding as model scale increases. Thus, integrating LLM-based solutions can bring unique opportunities, improvements, and solutions to text-to-SQL research. In this survey, we provide a comprehensive review of existing LLM-based text-to-SQL studies. Specifically, we offer a brief overview of the technical challenges and evolutionary process of text-to-SQL. Next, we introduce the datasets and metrics designed to evaluate text-to-SQL systems. Subsequently, we present a systematic analysis of recent advances in LLM-based text-to-SQL. Finally, we make a summarization and discuss the remaining challenges in this field and suggest expectations for future research directions. All the related resources of LLM-based, including research papers, benchmarks, and open-source projects, are collected for the community in our repository: https://github.com/DEEP-PolyU/Awesome-LLM-based-Text2SQL.

研究动机与目标

• 介绍文本到 SQL 的基本挑战以及基于 LLM 方法的动机。
• 调研用于评估文本到 SQL 系统的数据集和基准，并对其特性进行分类。
• 评估指标的回顾以及从基于规则的方法到基于 LLM 的实现范式的演变。
• 系统性分析基于 LLM 的方法并为未来研究提供方向。

提出的方法

• 概述文本到 SQL 的演变：从基于规则的方法到预训练语言模型（PLMs）和大型语言模型（LLMs）。
• 提供数据集和基准的分类法，涵盖跨领域、知识增强、上下文相关、鲁棒性以及跨语言设置。
• 总结评估指标：组件匹配、完全匹配、执行准确性，以及有效效率分数。
• 对上下文内学习和微调范式进行分类与讨论及其代表性方法。
• 讨论在提示设计、分解、推理增强和执行优化方面的设计选择。
• 指出未来挑战和潜在研究方向。

实验结果

研究问题

• RQ1 哪些数据集和基准最相关于评估基于 LLM 的文本到 SQL 的系统，它们的特性如何影响评估？
• RQ2 哪些评估指标最能反映基于 LLM 的文本到 SQL 系统的性能，它们与实际的正确性和效率有何关系？
• RQ3 在文本到 SQL 的上下文内学习和微调中，关键的方法学类别有哪些，它们的权衡是什么？
• RQ4 使用 LLM 的鲁棒、跨域和多语言文本到 SQL 还存在哪些挑战，哪些未来方向有前景？

主要发现

• LLMs 提供强大的文本到 SQL 语义解析能力，已成为最先进结果的核心。
• 该领域已从基于规则的系统演变为深度学习、PLMs，现在则是基于 LLM 的实现，具备上下文内学习和微调。
• 如 Spider、CoSQL、SParC、WikiSQL 与 BIRD 等数据集是核心基准， 并有扩展以应对跨域、知识增强、上下文、鲁棒性和跨语言设置。
• 评估依赖内容匹配指标（组件匹配和完全匹配）和基于执行的指标（执行准确性和有效效率分数）。
• 提示设计与结构化提示显著影响文本到 SQL 的 LLM 性能，存在若干分类方法用于提升分解、提示优化、推理和执行改进。
• 尽管取得进展，鲁棒性、跨域泛化、效率、数据隐私和实际部署仍存在挑战。