[论文解读] Towards Robust Neural Machine Translation

Yong Cheng, Zhaopeng Tu+3 more|arXiv (Cornell University)|May 16, 2018

Natural Language Processing Techniques参考文献 31被引用 19

一句话总结

本文提出对抗性稳定性训练，以增强神经机器翻译（NMT）模型对小规模输入扰动的鲁棒性。通过联合优化编码器和解码器，使其在原始输入和扰动输入下均能生成一致的表示和输出，该方法在中英、英德和英法翻译任务中同时提升了翻译性能与鲁棒性，优于GNMT等强基线模型，并达到与基于CNN的模型相当的性能。

ABSTRACT

Small perturbations in the input can severely distort intermediate representations and thus impact translation quality of neural machine translation (NMT) models. In this paper, we propose to improve the robustness of NMT models with adversarial stability training. The basic idea is to make both the encoder and decoder in NMT models robust against input perturbations by enabling them to behave similarly for the original input and its perturbed counterpart. Experimental results on Chinese-English, English-German and English-French translation tasks show that our approaches can not only achieve significant improvements over strong NMT systems but also improve the robustness of NMT models.

研究动机与目标

• 为解决NMT模型在小规模输入扰动（如同义词替换或拼写错误）下的脆弱性问题。
• 通过对抗性训练同时提升翻译质量和鲁棒性。
• 开发一种对扰动不变的编码器和稳定的解码器，使其能良好泛化至噪声输入。
• 构建一种与网络架构无关的训练框架，并可扩展至多种扰动类型。
• 在多种语言对上验证该方法，并展示BLEU分数与鲁棒性指标的持续提升。

提出的方法

• 提出对抗性稳定性训练，促使编码器对原始输入和扰动输入生成相似的隐藏表示。
• 使用判别器网络区分原始输入与扰动输入的表示，促使编码器对小规模扰动保持不变。
• 通过基于梯度的方法对输入施加对抗性扰动，以在训练过程中生成逼真的噪声输入。
• 在解码器中联合最大化原始输入与扰动输入的似然概率，以稳定生成行为。
• 引入两种扰动策略：词级别的同义词替换和基于梯度的对抗性词替换。
• 使用复合损失函数进行模型训练，该损失函数结合标准MLE损失、对抗性损失和反向损失，以稳定训练动态。

实验结果

研究问题

• RQ1 对抗性稳定性训练能否提升NMT模型对同义词替换等小规模输入扰动的鲁棒性？
• RQ2 对抗性训练是否能同时提升翻译质量与鲁棒性，而非在两者之间产生权衡？
• RQ3 该方法在不同语言对（包括低资源语言和词形丰富的语言）上的有效性如何？
• RQ4 该方法是否可在不修改网络架构的前提下应用于不同NMT架构？
• RQ5 对抗性稳定性训练的训练稳定性与标准MLE训练相比如何？

主要发现

• 与MLE训练相比，所提出的对抗性稳定性训练在平均BLEU分数上提升了最高达7.0分，且在所有评估的语言对中均取得显著提升。
• 在中英翻译任务中，模型取得34.2的BLEU分数，优于强基线GNMT模型。
• 该方法显著降低了翻译不一致性：仅30.26%的翻译在同义词替换后发生变化，而普通非鲁棒模型中该比例高达69.74%。
• 即使在对抗性扰动下，模型仍保持高度鲁棒性，原始翻译与扰动翻译之间的BLEU分数达79.01，表明其具有极强的一致性。
• 训练曲线显示早期训练存在震荡，但在10万次迭代后模型稳定收敛，判别器区分能力下降（损失≈0.68），表明有效实现了不变性学习。
• 该方法在不同架构和扰动类型上均表现出良好泛化能力，展现出良好的透明性与可扩展性。