[论文解读] Using Self-Training to Improve Back-Translation in Low Resource Neural Machine Translation

Idris Abdulmumin, Bashir Shehu Galadanci+1 more|arXiv (Cornell University)|Jun 4, 2020

Natural Language Processing Techniques参考文献 25被引用 4

一句话总结

该论文提出一种自训练方法，通过利用自身输出迭代优化低资源神经机器翻译中的后向翻译模型，从而生成更高质量的合成平行语料。该方法使 IWSLT'14 英德模型的性能提升 11.06 BLEU，相较于标准后向翻译，前向翻译性能提升 2.7 BLEU。

ABSTRACT

Improving neural machine translation (NMT) models using the back-translations of the monolingual target data (synthetic parallel data) is currently the state-of-the-art approach for training improved translation systems. The quality of the backward system - which is trained on the available parallel data and used for the back-translation - has been shown in many studies to affect the performance of the final NMT model. In low resource conditions, the available parallel data is usually not enough to train a backward model that can produce the qualitative synthetic data needed to train a standard translation model. This work proposes a self-training strategy where the output of the backward model is used to improve the model itself through the forward translation technique. The technique was shown to improve baseline low resource IWSLT'14 English-German and IWSLT'15 English-Vietnamese backward translation models by 11.06 and 1.5 BLEUs respectively. The synthetic data generated by the improved English-German backward model was used to train a forward model which out-performed another forward model trained using standard back-translation by 2.7 BLEU.

研究动机与目标

• 解决因平行训练数据有限而导致的低资源神经机器翻译中后向翻译质量差的问题。
• 通过迭代式优化后向模型，提升通过后向翻译生成的合成平行语料质量。
• 利用改进后的后向模型生成的更优合成语料，提升最终前向翻译模型的性能。
• 证明对后向模型输出进行自训练可在低资源设置下带来可测量的性能提升。

提出的方法

• 首先在低资源设置下有限的平行数据上训练后向模型。
• 训练后的后向模型通过翻译源语种单语数据，生成合成的目标语种单语句子。
• 然后利用其在单语数据上的自身预测结果作为伪目标，对模型进行微调，应用自训练以提升鲁棒性与质量。
• 经过优化的后向模型生成更高质量的合成平行语料，用于重新训练前向翻译模型。
• 前向模型在真实平行语料和自训练后向模型生成的改进型合成语料上进行训练。
• 该过程利用前向翻译能力，迭代优化后向模型，形成质量提升的反馈循环。

实验结果

研究问题

• RQ1 在低资源神经机器翻译中，对后向模型自身输出进行自训练是否能提升其性能？
• RQ2 提升后向模型是否能生成更高质量的用于前向翻译的合成平行语料？
• RQ3 改进后的合成语料在多大程度上提升了最终前向翻译模型的性能？
• RQ4 与标准后向翻译相比，该方法在 BLEU 分数提升方面表现如何？

主要发现

• 自训练方法使 IWSLT'14 英德模型的后向翻译性能提升了 11.06 BLEU 点。
• IWSLT'15 英越模型的后向翻译性能通过自训练提升了 1.5 BLEU。
• 由改进后的后向模型生成的合成语料，使前向翻译模型相比标准后向翻译提升了 2.7 BLEU。
• 使用自训练后向模型生成的合成语料进行训练的前向模型，优于基线前向模型。
• 该方法通过迭代优化后向模型，有效缓解了因低资源平行数据导致的性能下降。
• 结果表明，对模型输出进行自训练是一种有效提升合成语料质量与下游翻译性能的策略。