[论文解读] X-SQL: reinforce schema representation with context

Pengcheng He, Yi Mao+2 more|arXiv (Cornell University)|Aug 21, 2019

Topic Modeling参考文献 11被引用 53

一句话总结

X-SQL 通过将 BERT 风格的上下文输出与模式信息整合来增强上下文的模式表示，在 WikiSQL 上实现了新的最先进结果。

ABSTRACT

In this work, we present X-SQL, a new network architecture for the problem of parsing natural language to SQL query. X-SQL proposes to enhance the structural schema representation with the contextual output from BERT-style pre-training model, and together with type information to learn a new schema representation for down-stream tasks. We evaluated X-SQL on the WikiSQL dataset and show its new state-of-the-art performance.

研究动机与目标

• 通过更好地将非结构化查询上下文与结构化模式集成，推动 NL 到 SQL 的语义解析改进。
• 开发一个上下文增强的模式编码器，利用来自预训练模型的全局上下文来改进列表示。
• 纳入模式类型信息以约束 SQL 语法选择。
• 通过使用统一的、具上下文感知的架构，解决独立训练的子任务的局限性。

提出的方法

• 使用一个类似于 BERT 的序列编码器，从 MT-DNN 初始化，带有一个特殊的 [CTX] 上下文输出。
• 通过将列标记与全局上下文对齐并进行 softmax 加权求和，计算上下文增强的列表示。
• 用一个模块化的、特定任务的网络预测 SQL 子任务（S-COL、S-AGG、W-NUM、W-COL、W-OP、W-VAL），该网络在使用上下文时调制模式表示。
• 加入模式类型嵌入以引导子任务预测，特别是聚合器。
• 采用针对 W-COL 的列表级 KL 散度目标，以便对列预测进行整体比较而非逐项独立比较。
• 以子任务损失之和进行训练；推理阶段遵循子任务输出的直接组合。

实验结果

研究问题

• RQ1 将自然语言查询的全局上下文表示整合是否可以改善 NL-to-SQL 任务的模式理解？
• RQ2 添加显式的模式类型信息和列表级学习目标是否提升 WikiSQL 中的子任务预测（例如 where 子句预测）？
• RQ3 与以前的模型相比，上下文增强的模式表示在 WikiSQL 上在整体 SQL 的准确性方面提升到何种程度？
• RQ4 所提出的 X-SQL 架构对执行引导解码及其变体是否鲁棒？

主要发现

模型	Dev Acc LF	Dev Acc EX	Test Acc LF	Test Acc EX
SQLNet	63.2	69.8	61.3	68.0
SQLova	81.6	87.2	80.7	86.2
X-SQL	83.8	89.5	83.3	88.7
SQLova + EG	84.2	90.2	83.6	89.6
X-SQL + EG	86.2	92.3	86.0	91.8

• X-SQL 在 WikiSQL 的开发集和测试集上实现了新的最先进水平，超过了 SQLova 无论是否有执行指导。
• 在没有执行指导时，X-SQL 在测试集上逻辑形式准确率提升了 2.6 个百分点（83.3 对 80.7），执行准确率提升了 2.5 个点（88.7 对 86.2）。
• 在有执行指导时，X-SQL 进一步提升到测试集的 LF 86.0% 和 EX 91.8%，超过了之前的最佳模型。
• 按子任务的增益包括在 W-COL 和 W-VAL 上的显著改进，得益于列表级 KL 散度目标和上下文感知的模式调制。
• X-SQL 加执行指导是第一个在 WikiSQL 基准测试的测试集上准确率超过 90% 的模型。