[论文解读] Synthetic and Natural Noise Both Break Neural Machine Translation

Yonatan Belinkov, Yonatan Bisk|arXiv (Cornell University)|Nov 6, 2017

Natural Language Processing Techniques参考文献 42被引用 399

一句话总结

论文表明最先进的基于字符的NMT模型对合成和自然噪声都很脆弱，并提出结构不变表示和对抗性训练（鲁棒的字符CNN）以提高鲁棒性。

ABSTRACT

Character-based neural machine translation (NMT) models alleviate out-of-vocabulary issues, learn morphology, and move us closer to completely end-to-end translation systems. Unfortunately, they are also very brittle and easily falter when presented with noisy data. In this paper, we confront NMT models with synthetic and natural sources of noise. We find that state-of-the-art models fail to translate even moderately noisy texts that humans have no trouble comprehending. We explore two approaches to increase model robustness: structure-invariant word representations and robust training on noisy texts. We find that a model based on a character convolutional neural network is able to simultaneously learn representations robust to multiple kinds of noise.

研究动机与目标

• 评估合成噪声和自然噪声如何影响最先进的基于字符的NMT系统。
• 研究面对嘈杂输入时的NMT鲁棒性策略。
• 评估结构不变表示和对抗性训练在MT中的抗噪能力。
• 比较多语言对和噪声类型下的性能。

提出的方法

• 评估三种含字符信息的NMT结构（char2char、带BPE的Nematus，以及通过charCNN的单词表示）。
• 生成并注入自然噪声和合成噪声到源句（Swap、Middle Random、Fully Random、Keyboard Typo，以及来自语料库的自然错误）。
• 通过对干净输入与嘈杂输入的BLEU分数对比测试鲁棒性并分析失败原因。
• 探索结构不变的单词表示（meanChar）以及在嘈杂数据上训练模型（黑箱对抗训练）和混合噪声集成。
• 提供噪声生成代码和数据的发布以便可重复性。

实验结果

研究问题

• RQ1 合成与自然的词级/字符级噪声如何影响跨语言的翻译质量？
• RQ2 结构不变表示或对抗训练是否能提升基于字符的NMT模型对各种噪声类型的鲁棒性？
• RQ3 合成噪声在反映MT鲁棒性的自然人类错误方面有哪些局限？
• RQ4 混合噪声训练是否比单一噪声训练带来更广泛的鲁棒性？

主要发现

• 所有模型在嘈杂文本上（包括自然噪声）都出现显著BLEU下降。
• CharCNN在具有噪声鲁棒训练的情况下在多种噪声类型上优于其他模型，尽管自然噪声仍然具有挑战性。
• MeanChar 表示对混乱具有鲁棒性，但在其他噪声类型上表现不佳；它们在不同语言上的鲁棒性并不一致。
• 在特定噪声类型上训练可以提升该噪声下的测试性能，但并非对所有噪声族都适用；混合噪声训练（Rand+Key+Nat）获得最佳的平均鲁棒性。
• 自然噪声往往来自语音/音系错误和省略等，未能被合成噪声充分捕捉，解释了鲁棒性的差距。