[论文解读] SQL-to-Text Generation with Graph-to-Sequence Model

Kun Xu, Lingfei Wu+3 more|arXiv (Cornell University)|Sep 14, 2018

Topic Modeling参考文献 23被引用 8

一句话总结

本文提出了一种用于 SQL 到文本生成的图到序列模型，通过将 SQL 查询表示为有向图来捕捉结构依赖关系，采用具有方向性邻居聚合和图池化的图编码器，生成增强的节点和图嵌入。该模型在 WikiSQL 和 StackOverflow 数据集上达到最先进性能，在 WikiSQL 上的 BLEU-4 得分为 38.97。

ABSTRACT

Previous work approaches the SQL-to-text generation task using vanilla Seq2Seq models, which may not fully capture the inherent graph-structured information in SQL query. In this paper, we first introduce a strategy to represent the SQL query as a directed graph and then employ a graph-to-sequence model to encode the global structure information into node embeddings. This model can effectively learn the correlation between the SQL query pattern and its interpretation. Experimental results on the WikiSQL dataset and Stackoverflow dataset show that our model significantly outperforms the Seq2Seq and Tree2Seq baselines, achieving the state-of-the-art performance.

研究动机与目标

• 解决 Seq2Seq 模型在捕捉 SQL 查询中全局结构依赖关系方面的局限性。
• 通过建模 SQL 查询固有的图结构语义，改进从 SQL 生成自然语言的效果。
• 开发一种图到序列框架，以保留 SQL 语法中的关系与层次信息。
• 在 WikiSQL 和 StackOverflow 等标准基准上，证明其性能优于现有基线模型。

提出的方法

• 通过为 SELECT、WHERE 条件、聚合函数和逻辑运算符创建节点，并通过有向边反映查询结构，将 SQL 查询表示为有向图。
• 使用图神经网络编码节点嵌入，基于边的方向分别聚合来自前向和后向邻居的信息。
• 将前向和后向邻居表示拼接，形成富含方向性关系上下文的增强节点嵌入。
• 通过基于池化和基于聚合的方法生成图级表示，以总结整个图结构。
• 使用基于 RNN 的解码器，对所有节点嵌入应用全局注意力机制，并以图嵌入初始化，生成流畅的自然语言解释。
• 采用交叉熵损失进行端到端训练，使用 dropout (0.5) 和梯度裁剪 (范数 > 20)，并使用预训练的 GloVe 向量初始化词嵌入。

实验结果

研究问题

• RQ1 将 SQL 查询建模为有向图是否能相比基于序列的模型提升文本生成性能？
• RQ2 在图编码中引入方向性邻居信息，是否能增强模型捕捉查询语义的能力？
• RQ3 图到序列架构是否在生成 SQL 查询的自然语言解释方面优于基于树或原始序列到序列的模型？
• RQ4 跳跃大小对节点表示质量和整体模型性能有何影响？
• RQ5 在哪些类型的复杂查询中，基于图的模型相比自回归基线展现出显著优势？

主要发现

• 所提出的 Graph2Seq 模型在 WikiSQL 数据集上达到 BLEU-4 得分为 38.97，显著优于次佳基线模型（Tree2Seq 为 26.67）。
• 模型在语法正确性和准确性方面均有提升，在 WikiSQL 上的正确率高达 79.2%，相比 Tree2Seq 的 66.8% 显著提高。
• 基于池化的图嵌入方法优于基于节点的方法，因为后者因引入不存在的节点而引入噪声。
• 当忽略边的方向时性能下降，证实了图表示中方向信息的重要性。
• 在包含多个条件和隐式列关系的复杂查询上，该模型表现出更优的泛化能力，经定性分析验证。
• 跳跃大小为 6 时性能达到最优，因为它捕捉了最复杂查询中平均最长路径（6 跳），表明其具有最优的感受野。