[论文解读] Unsupervised Dual Paraphrasing for Two-stage Semantic Parsing

Ruisheng Cao, Su Zhu+6 more|arXiv (Cornell University)|May 27, 2020

Topic Modeling参考文献 42被引用 4

一句话总结

该论文提出了一种无监督的两阶段语义解析框架，利用双结构改写模型将自然语言语句转换为规范形式，无需人工标注。通过在循环学习过程中结合去噪自编码器、反向翻译和双强化学习，该方法在完全监督设置下仍能实现最先进性能（Overnight数据集上达到80.1%，GeoGranno数据集上达到74.5%），同时显著降低对昂贵人工标注数据的依赖。

ABSTRACT

One daunting problem for semantic parsing is the scarcity of annotation. Aiming to reduce nontrivial human labor, we propose a two-stage semantic parsing framework, where the first stage utilizes an unsupervised paraphrase model to convert an unlabeled natural language utterance into the canonical utterance. The downstream naive semantic parser accepts the intermediate output and returns the target logical form. Furthermore, the entire training process is split into two phases: pre-training and cycle learning. Three tailored self-supervised tasks are introduced throughout training to activate the unsupervised paraphrase model. Experimental results on benchmarks Overnight and GeoGranno demonstrate that our framework is effective and compatible with supervised training.

研究动机与目标

• 通过利用规范语句作为中间表示，减少语义解析中的人工标注负担。
• 开发一种无监督改写模型，无需平行监督即可将自然语言映射到规范形式。
• 通过自监督预训练和循环学习提升语义解析性能，避免对大规模标注数据的依赖。
• 在保持无监督和半监督设置下强性能的同时，证明框架与传统监督训练的兼容性。

提出的方法

• 该框架使用共享编码器和两个解码器：一个用于自然语言，一个用于规范语句，构成双结构改写模型。
• 在预训练阶段，应用三种自监督任务——去噪自编码、反向翻译和双强化学习，以在无平行数据的情况下初始化模型。
• 去噪自编码任务通过破坏输入句子并训练模型重建原始句子，提升鲁棒性和语义理解能力。
• 反向翻译用于通过从自然语言到规范形式再反向翻译，生成合成改写句，增强不同语句类型之间的对齐。
• 双强化学习交替使用两个模型，每个模型作为对方的环境以提供奖励信号和伪样本，实现迭代优化。
• 最终流程将无监督改写模型与在自动生成的（规范语句，逻辑形式）对上训练的监督神经语义解析器连接起来。

实验结果

研究问题

• RQ1 无监督改写模型能否在无平行监督的情况下有效将自然语言语句转换为规范形式？
• RQ2 自监督预训练和循环学习在多大程度上提升了语义解析中中间规范语句的质量？
• RQ3 该两阶段框架在多大程度上减少了对人工标注数据的依赖，同时保持或提升性能？
• RQ4 该框架是否仍与传统监督训练兼容，并实现最先进性能？

主要发现

• 所提出的无监督框架在Overnight数据集上优于Wang等人（2015）的监督基线模型，准确率达到60.7%，高于基线的58.8%。
• 在使用全部标注数据时，该方法在Overnight基准上达到80.1%的新最先进性能。
• 在GeoGranno基准上，该方法达到74.5%的准确率，未使用额外数据源即创下新SOTA结果。
• 案例研究显示，模型成功学习到细粒度的语义对齐，例如将'3或更多'改写为'至少3'，并纠正了基线系统中的错误。
• 模型在处理模糊或复杂约束时表现出鲁棒性，例如在GeoGranno中正确保留了'borders _state_'，而基线模型则遗漏了这一点。
• 双强化学习组件表明，风格和相关性奖励比流畅性奖励更具信息量，能更有效地引导生成更优的改写句。