[论文解读] SADGA: Structure-Aware Dual Graph Aggregation Network for Text-to-SQL

Ruichu Cai, Jinjie Yuan+2 more|arXiv (Cornell University)|Nov 1, 2021

Topic Modeling被引用 27

一句话总结

SADGA 引入了一种统一的双图编码器，具备全局/局部结构感知聚合，用于跨领域文本到SQL，在发表时取得了具有竞争力的结果并在 Spider 排名中获得第三名。

ABSTRACT

The Text-to-SQL task, aiming to translate the natural language of the questions into SQL queries, has drawn much attention recently. One of the most challenging problems of Text-to-SQL is how to generalize the trained model to the unseen database schemas, also known as the cross-domain Text-to-SQL task. The key lies in the generalizability of (i) the encoding method to model the question and the database schema and (ii) the question-schema linking method to learn the mapping between words in the question and tables/columns in the database schema. Focusing on the above two key issues, we propose a Structure-Aware Dual Graph Aggregation Network (SADGA) for cross-domain Text-to-SQL. In SADGA, we adopt the graph structure to provide a unified encoding model for both the natural language question and database schema. Based on the proposed unified modeling, we further devise a structure-aware aggregation method to learn the mapping between the question-graph and schema-graph. The structure-aware aggregation method is featured with Global Graph Linking, Local Graph Linking, and Dual-Graph Aggregation Mechanism. We not only study the performance of our proposal empirically but also achieved 3rd place on the challenging Text-to-SQL benchmark Spider at the time of writing.

研究动机与目标

• 通过解决对未见模式的泛化问题来推动跨领域文本到SQL。
• 通过使用统一的基于图的模型消除问题与模式编码之间的结构差距。
• 开发一个结构感知的双图聚合机制，以改善问题与模式之间的链接。
• 在 Spider 基准上评估 SADGA，并与强基线进行比较。

提出的方法

• 将问题和模式表示为图（问题图和模式图），并构建跨图关系。
• 用门控图神经网络（GGNN）对双图进行编码，同时将预定义关系表示为关系节点。
• 应用全局图连接，在查询节点和关键节点之间计算跨图注意力。
• 应用局部图连接，在双图中从查询节点对关键节点的邻居进行关注。
• 通过带门控的双图聚合机制进行聚合，产生统一的节点表示。
• 可选地与 Relation-Aware Transformer (RAT) 集成以进一步对齐表示；解码器通过 LSTM 按树状结构进行 SQL 生成。

实验结果

研究问题

• RQ1 统一的双图编码框架如何提升跨领域文本到SQL的泛化能力？
• RQ2 跨问题和模式图的结构感知全局与局部连接是否能比传统方法提供更好的问题-模式对齐？
• RQ3 所提出的聚合机制对解析更复杂的 SQL 查询有何影响？

主要发现

• SADGA 在 Spider 的开发/测试准确性具有竞争力，超过若干基线，并在 Spider 排行榜上以 SADGA+GAP 获得第三名。
• 结构感知的双图聚合提升了性能，尤其在 Extra-Hard 查询上，表明对复杂 SQL 的处理能力更强。
• 消融实验显示全局/局部图连接和聚合门控均有益；移除它们会降低性能，特别是在更难的级别。
• 整合 BERT-base/BERT-large 或 GAP 可进一步提升性能，SADGA+GAP 获得了强劲结果。
• 全局图连接将问题词对齐到相关的模式部分，而局部图连接通过邻居捕捉潜在关联，帮助实现超越表面字符串匹配的正确链接。
• 案例研究展示了问题术语与模式组件之间可解释的对齐。