[论文解读] Weakly-supervised Neural Semantic Parsing with a Generative Ranker

Jianpeng Cheng, Mirella Lapata|arXiv (Cornell University)|Aug 23, 2018

Natural Language Processing Techniques参考文献 48被引用 3

一句话总结

本文提出了一种弱监督神经语义解析器，该解析器从话语中生成候选逻辑形式，并使用基于执行正确性的对数线性模型和基于生成式逆解析器的语义忠实度来对这些形式进行排序。该系统采用计划训练和神经词典编码，以减少虚假形式的产生，在三个Freebase数据集上实现了最先进性能。

ABSTRACT

Weakly-supervised semantic parsers are trained on utterance-denotation pairs, treating logical forms as latent. The task is challenging due to the large search space and spuriousness of logical forms. In this paper we introduce a neural parser-ranker system for weakly-supervised semantic parsing. The parser generates candidate tree-structured logical forms from utterances using clues of denotations. These candidates are then ranked based on two criterion: their likelihood of executing to the correct denotation, and their agreement with the utterance semantics. We present a scheduled training procedure to balance the contribution of the two objectives. Furthermore, we propose to use a neurally encoded lexicon to inject prior domain knowledge to the model. Experiments on three Freebase datasets demonstrate the effectiveness of our semantic parser, achieving results within the state-of-the-art range.

研究动机与目标

• 通过仅利用话语-指称对来解决在缺乏标准逻辑形式的情况下训练神经语义解析器的挑战。
• 减少那些偶然产生正确指称但未能反映话语语义的虚假逻辑形式的影响。
• 通过神经编码的词典注入先验领域知识，以提升泛化能力和模型可靠性。
• 通过计划训练程序平衡两个训练目标——执行正确性与语义忠实度，以稳定学习过程。
• 开发一种解析器-排序器框架，结合神经序列到树的生成与判别式排序，用于弱监督语义解析。

提出的方法

• 使用具有双向LSTM编码器和堆栈LSTM解码器的序列到树神经解析器，从话语中生成语法正确且可执行的逻辑形式。
• 应用语法约束解码过程，以确保所有生成的逻辑形式在句法上有效，并能与知识库正确执行。
• 使用对数线性模型对候选逻辑形式进行排序，通过执行来评分其产生正确指称的可能性。
• 引入一个生成式逆解析器，以估计逻辑形式在多大程度上保持了输入话语的语义，作为语义忠实度的信号。
• 实施一种计划训练程序，在优化过程中动态平衡执行正确性目标与语义忠实度目标的贡献。
• 通过神经方法编码一个词典作为先验知识，以正则化潜在空间并提升泛化能力，尤其是在低资源场景下。

实验结果

研究问题

• RQ1 在无法访问黄金逻辑形式的情况下，神经解析器-排序器系统能否有效从话语-指称对中学习？
• RQ2 在弱监督训练过程中，如何减轻那些产生正确指称但语义错误的虚假逻辑形式的影响？
• RQ3 在排序目标中结合执行正确性与语义忠实度，在多大程度上能提升解析准确率？
• RQ4 通过平衡多个目标的计划训练是否能带来更稳定且高效的模型收敛？
• RQ5 通过将领域特定先验知识注入潜在空间，神经编码的词典在多大程度上能提升模型性能？

主要发现

• 所提出的解析器-排序器系统在三个基于Freebase的语义解析基准测试上达到了最先进性能：WebQuestions、GraphQuestions和Spades。
• 引入生成式逆解析器显著降低了模型对虚假逻辑形式的依赖，表现为对语义错误但指称正确的形式赋予更低的分数。
• 计划训练通过在优化过程中动态平衡执行正确性与语义忠实度目标，提升了模型的稳定性和性能。
• 神经词典编码增强了模型的泛化能力，并有助于正则化潜在空间，尤其在低资源或OOV（未登录词）场景下表现突出。
• 该系统在多样化领域中表现出强鲁棒性，并优于以往仅依赖执行监督的弱监督方法。
• 消融实验确认，逆解析器和计划训练均为性能提升的关键因素，两者对最终准确率均有显著贡献。