[论文解读] Neural Machine Translation: Challenges, Progress and Future

Jiajun Zhang, Chengqing Zong|arXiv (Cornell University)|Apr 13, 2020

Natural Language Processing Techniques参考文献 168被引用 10

一句话总结

这篇特邀综述全面概述了神经机器翻译（NMT），涵盖其框架、关键挑战（如低资源翻译和多模态翻译）以及近期进展（如多语言和半监督NMT）。文章强调Transformer架构作为当前最先进的范式，并指出未来的研究方向，如可解释性、鲁棒性和背景感知的NMT模型。

ABSTRACT

Machine translation (MT) is a technique that leverages computers to translate human languages automatically. Nowadays, neural machine translation (NMT) which models direct mapping between source and target languages with deep neural networks has achieved a big breakthrough in translation performance and become the de facto paradigm of MT. This article makes a review of NMT framework, discusses the challenges in NMT, introduces some exciting recent progresses and finally looks forward to some potential future research trends. In addition, we maintain the state-of-the-art methods for various NMT tasks at the website https://github.com/ZNLP/SOTA-MT.

研究动机与目标

• 回顾从基于规则和统计方法到神经机器翻译（NMT）的演变过程及其当前状态。
• 识别并分析NMT中的关键挑战，包括低资源翻译、多模态翻译和领域自适应。
• 调查半监督、多语言和知识融合型NMT框架的近期技术进展。
• 探讨在鲁棒性、可解释性和架构创新方面超越Transformer的开放性问题。
• 预测NMT的未来研究方向，特别是在整合背景知识和提升推理一致性方面。

提出的方法

• 采用编码器-解码器框架与深度神经网络，对源语言和目标语言序列之间进行直接映射建模。
• 在现代NMT系统中，采用子词分词（如SentencePiece）作为标准分词方法。
• 应用Transformer架构，依赖自注意力机制捕捉序列中的长距离依赖关系。
• 在解码过程中动态对齐源表示和目标表示，引入注意力机制。
• 在半监督和无监督NMT中，采用回译和知识蒸馏技术以提升低资源场景下的性能。
• 通过可微模块或基于注意力的注入方式，将先验知识（如双语词典、知识图谱）整合到NMT中。

实验结果

研究问题

• RQ1 如何在保持高翻译质量的同时，使NMT系统对噪声或对抗性输入具备鲁棒性？
• RQ2 将外部知识（如双语词典、知识图谱）有效整合到端到端NMT模型中的最有效方法是什么？
• RQ3 如何在神经机器翻译中有效融合多模态信号（如图像、语音）与文本？
• RQ4 在Transformer之外，哪些架构创新能够提升NMT的效率、准确率或泛化能力？
• RQ5 如何在无需标注领域内数据的情况下实现领域自适应，特别是在未知或分布外领域中？

主要发现

• NMT在翻译质量方面取得了重大突破，特别是在使用Transformer架构时，某些语种对的性能已接近人类水平。
• 低资源NMT仍具挑战性，无监督模型在远距离语种对上的BLEU得分低于10，表明仍有巨大提升空间。
• 多模态NMT（如语音翻译和图像字幕翻译）的性能仍落后于级联系统，尤其在训练数据有限时。
• 使用回译的半监督NMT虽有效，但计算成本高，提示需要更高效的训练策略。
• 当前的NMT模型对输入扰动极为敏感，且缺乏可解释性，凸显了对可解释性和鲁棒架构的迫切需求。
• 尽管取得进展，训练与推理之间的差距仍是关键问题，尤其在自回归生成中，影响输出的一致性和质量。