[论文解读] Table2answer: Read the database and answer without SQL

Tong Guo, Huilin Gao|arXiv (Cornell University)|Feb 12, 2019

Topic Modeling参考文献 13被引用 4

一句话总结

本文提出 Table2answer，一种基于 BERT 的模型，可直接在数据库表上回答问题，而无需生成中间的 SQL 或逻辑形式。通过将问题回答视为对表单元格的跨度预测任务，该模型在简化版 WikiSQL 子集上实现了 54.0% 的测试准确率，表明端到端学习可避免昂贵的语义解析标注，同时达到基线性能。

ABSTRACT

Semantic parsing is the task of mapping natural language to logic form. In question answering, semantic parsing can be used to map the question to logic form and execute the logic form to get the answer. One key problem for semantic parsing is the hard label work. We study this problem in another way: we do not use the logic form any more. Instead we only use the schema and answer info. We think that the logic form step can be injected into the deep model. The reason why we think removing the logic form step is possible is that human can do the task without explicit logic form. We use BERT-based model and do the experiment in the WikiSQL dataset, which is a large natural language to SQL dataset. Our experimental evaluations that show that our model can achieves the baseline results in WikiSQL dataset.

研究动机与目标

• 为解决语义解析的高标注成本问题，通过消除对显式逻辑形式或 SQL 标签的需求。
• 探索深度学习模型是否能在不显式表示逻辑形式的情况下，隐式学习数据库上的推理能力。
• 开发一个端到端的问题回答系统，直接将问题和表模式映射到答案单元格。
• 评估 BERT 基模型在无需生成 SQL 的情况下，是否能在基于表格的问题回答任务上实现具有竞争力的性能。
• 通过仅关注单条件查询和固定表，简化 NL2SQL 任务，以实现更快的训练和评估。

提出的方法

• 模型输入为拼接序列：[CLS]、列标题、表单元格、[SEP]、问题、[SEP]，采用 BERT 的输入格式。
• 对每个表单元格的词嵌入进行平均，形成该单元格的单一向量表示。
• 在 BERT 最后一层之后添加一个单指针头，用于预测答案单元格在展平表中的起始和结束位置。
• 在仅允许 WHERE 子句中包含一个条件的简化版 WikiSQL 数据集上进行微调。
• 通过随机打乱表行来应用数据增强，以提高训练多样性，同时保持列不变。
• 使用位置嵌入以保留序列顺序，且仅微调 BERT 的最后三层以提高效率。

实验结果

研究问题

• RQ1 深度学习模型是否能在基于表格的问题回答中绕过对显式逻辑形式或 SQL 生成的需求？
• RQ2 在问题、模式和表数据上进行端到端训练，其性能是否可与传统语义解析方法相媲美？
• RQ3 通过行打乱进行数据增强，对基于表格的问题回答模型泛化能力有何影响？
• RQ4 移除位置嵌入或数据增强对模型性能有何影响？
• RQ5 BERT 基模型是否能直接预测答案单元格，而无需生成中间逻辑形式？

主要发现

• 所提出的模型在 Table2answer 基准上实现了 54.0% 的测试准确率，显著优于非预训练 Transformer 基线模型（11.0%）。
• 通过行打乱进行数据增强，将测试准确率从无增强时的 17.7% 提升至 54.0%，证明了其有效性。
• 移除位置嵌入后性能下降至 20.5%，表明序列顺序对准确预测单元格至关重要。
• 即使无数据增强，该模型仍优于基线模型，达到 17.7% 的准确率，表明预训练提供了强大的归纳偏置。
• 采用 SQuAD 风格的跨度预测方法（将所有表单元格拼接）的性能低 2–3%，表明结构化输入格式更有效。
• 该模型在训练集上达到 96% 的准确率，表明其具备强大能力来学习简化任务，但泛化到测试集的能力仍有限。