[论文解读] Neural Semantic Parsing in Low-Resource Settings with Back-Translation and Meta-Learning

Yibo Sun, Duyu Tang+5 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 28被引用 6

一句话总结

该论文提出了一种低资源神经语义解析框架，通过利用基于规则的初始化、基于神经问题生成与解析模型的回译方法，以及与模型无关的元学习（MAML），提升了模型的泛化能力和鲁棒性。通过迭代生成并利用短语表进行质量控制的合成问题-程序对过滤，该方法在WikiSQL数据集上实现了72.7%的执行准确率，与使用语义值监督训练的模型性能相当，证明了在极小监督设置下仍具有强大性能。

ABSTRACT

Neural semantic parsing has achieved impressive results in recent years, yet its success relies on the availability of large amounts of supervised data. Our goal is to learn a neural semantic parser when only prior knowledge about a limited number of simple rules is available, without access to either annotated programs or execution results. Our approach is initialized by rules, and improved in a back-translation paradigm using generated question-program pairs from the semantic parser and the question generator. A phrase table with frequent mapping patterns is automatically derived, also updated as training progresses, to measure the quality of generated instances. We train the model with model-agnostic meta-learning to guarantee the accuracy and stability on examples covered by rules, and meanwhile acquire the versatility to generalize well on examples uncovered by rules. Results on three benchmark datasets with different domains and programs show that our approach incrementally improves the accuracy. On WikiSQL, our best model is comparable to the SOTA system learned from denotations.

研究动机与目标

• 开发一种在缺乏标注程序或执行结果的低资源设置下仍能良好泛化的神经语义解析器。
• 仅使用少量与领域无关的规则和词级匹配表对解析器进行初始化。
• 在规则覆盖的样本上提升模型准确率与鲁棒性，同时实现对未见、规则未覆盖样本的泛化能力。
• 通过引入基于短语表的质量控制器，过滤低频、可能错误的映射，降低合成数据中的噪声。

提出的方法

• 以规则标注的问题-程序对作为起点，初始化语义解析器和问题生成器。
• 应用回译：使用解析器从问题生成程序，再使用问题生成器从程序重构问题，从而构建合成的平行数据。
• 维护一个频繁映射模式的动态短语表，用于评估并过滤生成样本的质量，降低噪声与错误。
• 使用与模型无关的元学习（MAML）在多个数据源（规则覆盖数据、过滤后的合成数据）上训练解析器，将其视为不同任务，以提升模型的适应能力与稳定性。
• 根据质量控制器的反馈，迭代更新短语表与模型参数，以持续优化数据质量与模型性能。
• 通过从不同数据源（如规则标注数据、生成数据）中采样任务，并针对每个任务优化快速适应能力，使用MAML训练解析器。

实验结果

研究问题

• RQ1 在仅依赖少量手工规则且无标注程序或语义值的情况下，能否有效训练神经语义解析器？
• RQ2 如何对通过回译生成的合成数据进行过滤，以降低噪声并提升模型可靠性？
• RQ3 与模型无关的元学习（MAML）是否能同时提升规则覆盖样本上的准确率与对未见样本的泛化能力？
• RQ4 频繁映射模式的短语表在多大程度上能提升语义解析中生成训练数据的质量？
• RQ5 结合回译与元学习的方法能否实现与使用语义值监督训练的监督系统相当的性能？

主要发现

• 所提方法在WikiSQL基准测试中达到72.7%的执行准确率，与使用语义值监督训练的强监督系统（74.8%）性能相当。
• 将回译与基于短语表的质量控制器相结合，显著提升了合成训练数据的可靠性，有效过滤了低频且可能错误的映射。
• 与模型无关的元学习使解析器在规则覆盖样本上保持高准确率，同时能有效泛化到未见的、规则未覆盖的样本。
• 逐步集成回译、质量控制与元学习，在所有三个基准数据集上均带来持续且可量化的性能提升。
• 该框架在低资源环境下展现出强大的鲁棒性与适应能力，优于基于规则的基线模型，并在数据稀缺环境中具有良好的部署前景。