[论文解读] TiInsight: A SQL-based Automated Exploratory Data Analysis System through Large Language Models

Jun-Peng Zhu, Boyan Niu+11 more|arXiv (Cornell University)|Jan 14, 2026

Natural Language Processing Techniques被引用 0

一句话总结

TiInsight 是一个基于 SQL 的自动化跨领域 EDA 系统，利用大型语言模型生成分层数据上下文、澄清并分解问题，通过 TiSQL 转换为 SQL，并通过 GUI 的 TiChart 可视化结果。

ABSTRACT

The SQL-based exploratory data analysis has garnered significant attention within the data analysis community. The emergence of large language models (LLMs) has facilitated the paradigm shift from manual to automated data exploration. However, existing methods generally lack the ability for cross-domain analysis, and the exploration of LLMs capabilities remains insufficient. This paper presents TiInsight, an SQL-based automated cross-domain exploratory data analysis system. First, TiInsight offers a user-friendly GUI enabling users to explore data using natural language queries. Second, TiInsight offers a robust cross-domain exploratory data analysis pipeline: hierarchical data context (i.e., HDC) generation, question clarification and decomposition, text-to-SQL (i.e., TiSQL), and data visualization (i.e., TiChart). Third, we have implemented and deployed TiInsight in the production environment of PingCAP and demonstrated its capabilities using representative datasets. The demo video is available at https://youtu.be/JzYFyYd-emI.

研究动机与目标

• 在真实世界场景中说明使用 SQL 和 LLM 进行自动化、跨领域探索性数据分析的需求。
• 开发一个端到端系统（HDC、问题澄清、TiSQL、TiChart），降低没有 SQL 专长的用户进行数据探索的门槛。
• 提供一个用户友好的 GUI 和可投入生产的部署，以演示实际的 EDA 工作流程。
• 解决跨领域、意图不明确场景中，现有文本到 SQL 与表格到图表方法的局限性。

提出的方法

• 提出分层数据上下文（HDC）生成，以总结并组织用于跨域探索的数据库模式。
• 引入问题澄清与分解模块，以解决模糊意图并将任务拆分为子问题。
• 开发 TiSQL，一个文本到 SQL 的组件，采用两阶段映射（粗到细）与 map-reduce 框架，以及自我优化链（EXPLAIN 和 EXECUTE）来纠正 SQL 错误。
• 创建 TiChart，一个基于规则的数据可视化工具，辅以 LLMs 来推荐适合复杂任务的图表类型。
• 提供一个支持数据导入、NL 交互、书签和多 LLM 切换的网页 UI。
• 在两个真实世界数据集（Financial 和 Bird）中展示端到端的生产化场景，并发布相关演示资源以供参考。

实验结果

研究问题

• RQ1 TiInsight 是否能够在不同领域通过 HDC 指导的上下文生成准确的 SQL？
• RQ2 问题澄清与分解在探索性数据任务中如何有效处理不明确的用户意图？
• RQ3 采用带 map-reduce 和自我优化链的两阶段 TiSQL 是否比传统提示方法在准确性和效率上有所提升？
• RQ4 TiChart 能否可靠地为复杂的多子任务探索推荐合适的可视化？
• RQ5 在 PingCAP 等生产环境中的代表性数据集上，TiInsight 的可行性和性能如何？

主要发现

• TiInsight 展示了从 NL 输入到 SQL 执行再到通过 GUI 可视化的端到端 EDA 工作流。
• HDC 生成通过总结模式、表和关系来指导 SQL 生成，从而加速跨域理解。
• TiSQL 将粗到细的模式筛选与 map-reduce 提示流程及自我优化链结合，减少 SQL 错误。
• TiChart 将基于规则的启发式方法与 LLM 相结合，为多子任务探索挑选合适的可视化类型。
• 系统在两个真实世界的 PingCAP 数据集（Financial 和 Bird）中进行演示，展示了实际部署潜力。