[论文解读] SQL Query Completion for Data Exploration

Marie Le Guilly, Jean-Marc Petit+1 more|arXiv (Cornell University)|Feb 8, 2018

Advanced Database Systems and Queries参考文献 20被引用 7

一句话总结

本文提出了一种语义SQL查询补全方法，该方法基于数据内容而非仅模式结构，建议有意义的WHERE子句条件，以加速数据探索。在70名学生中进行评估，该方法显著减少了查询编写时间，且用户采纳率高，相较于仅基于语法的补全工具，其优势在于融合了机器学习与数据库语义。

ABSTRACT

Within the big data tsunami, relational databases and SQL are still there and remain mandatory in most of cases for accessing data. On the one hand, SQL is easy-to-use by non specialists and allows to identify pertinent initial data at the very beginning of the data exploration process. On the other hand, it is not always so easy to formulate SQL queries: nowadays, it is more and more frequent to have several databases available for one application domain, some of them with hundreds of tables and/or attributes. Identifying the pertinent conditions to select the desired data, or even identifying relevant attributes is far from trivial. To make it easier to write SQL queries, we propose the notion of SQL query completion: given a query, it suggests additional conditions to be added to its WHERE clause. This completion is semantic, as it relies on the data from the database, unlike current completion tools that are mostly syntactic. Since the process can be repeated over and over again -- until the data analyst reaches her data of interest --, SQL query completion facilitates the exploration of databases. SQL query completion has been implemented in a SQL editor on top of a database management system. For the evaluation, two questions need to be studied: first, does the completion speed up the writing of SQL queries? Second , is the completion easily adopted by users? A thorough experiment has been conducted on a group of 70 computer science students divided in two groups (one with the completion and the other one without) to answer those questions. The results are positive and very promising.

研究动机与目标

• 为解决在包含数百张表和属性的大型、陌生数据库中编写复杂SQL查询的挑战。
• 减少数据分析师探索和检索相关数据所需的时间与认知负荷。
• 开发一种语义补全系统，基于实际数据内容而非仅模式结构，建议有意义的WHERE子句条件。
• 评估此类系统是否能提升真实数据探索任务中查询构建的效率与用户采纳率。

提出的方法

• 提出一种语义SQL查询补全系统，通过分析初始查询的结果集，建议相关的WHERE子句条件。
• 在查询结果中的数据上应用机器学习技术——特别是聚类和决策树——以发现有意义的模式与分组。
• 基于这些模式生成补全建议，例如按属性值分组或识别频繁的值组合。
• 将补全引擎集成到运行在DBMS之上的SQL编辑器中，支持交互式、迭代式的查询优化。
• 应用构造性归纳与逻辑公式发现技术，生成能提升查询选择性的语义相关条件。
• 利用数据挖掘洞察，建议新的条件，引导用户发现相关数据子集，而无需手动探索模式。

实验结果

研究问题

• RQ1 语义SQL查询补全是否能显著减少在大型数据库中编写复杂SQL查询所需的时间？
• RQ2 用户在数据探索过程中是否能轻松采纳并受益于基于数据的查询补全建议？
• RQ3 基于数据内容的语义补全与仅基于模式的传承包理工具有何差异？
• RQ4 该系统在多大程度上通过迭代式优化帮助用户发现相关数据子集？

主要发现

• 与无补全功能的对照组相比，语义查询补全系统显著减少了编写SQL查询所需的时间。
• 用户快速适应了该工具，并发现其在导航包含数百张表和属性的复杂数据库时非常有帮助。
• 系统生成的建议被认为相关且可操作，通过迭代优化引导用户发现有意义的数据子集。
• 基于数据内容（聚类、决策树）的补全机制优于仅依赖模式信息的纯语法补全工具。
• 原型表明，将机器学习与数据库系统结合，可在无需用户标注或先验知识的情况下，提升数据探索效率。