[论文解读] Towards Making the Most of Context in Neural Machine Translation

Zaixiang Zheng, Xiang Yue+3 more|arXiv (Cornell University)|Feb 19, 2020

Natural Language Processing Techniques参考文献 30被引用 7

一句话总结

本文提出了一种统一的神经机器翻译框架，以灵活、端到端的方式显式建模局部句子上下文和全局文档上下文，从而实现任意长度文档（包括单个句子）的有效翻译。该模型在BLEU指标上相比Transformer基线模型和先前的文档级NMT系统最高提升2.1分，证明当上下文被合理利用时，更大的上下文始终能提升翻译质量。

ABSTRACT

Document-level machine translation manages to outperform sentence level models by a small margin, but have failed to be widely adopted. We argue that previous research did not make a clear use of the global context, and propose a new document-level NMT framework that deliberately models the local context of each sentence with the awareness of the global context of the document in both source and target languages. We specifically design the model to be able to deal with documents containing any number of sentences, including single sentences. This unified approach allows our model to be trained elegantly on standard datasets without needing to train on sentence and document level data separately. Experimental results demonstrate that our model outperforms Transformer baselines and previous document-level NMT models with substantial margins of up to 2.1 BLEU on state-of-the-art baselines. We also provide analyses which show the benefit of context far beyond the neighboring two or three sentences, which previous studies have typically incorporated.

研究动机与目标

• 为解决现有文档级NMT模型未能充分利用全局上下文且无法处理单句输入的局限性。
• 设计一种统一架构，无需独立的训练流程即可同时支持句子级和文档级翻译。
• 探究增加上下文长度是否能超越通常认为的2–3句话最优窗口，进一步提升翻译质量。
• 实现鲁棒、上下文感知的翻译，确保在长文档中保持语篇一致性（如回指、时态、省略等）。

提出的方法

• 模型采用双编码机制：在融合前，独立编码局部句子上下文和全局文档上下文，通过上下文融合门进行融合。
• 上下文融合门在每一层动态平衡局部与全局表征，降低对噪声或过长上下文的敏感性。
• 解码器将部分生成的目标侧翻译作为全局目标上下文，实现对后续内容感知的自回归生成。
• 该架构在标准句子级和文档级数据集上端到端训练，无需单独的数据划分或微调。
• 采用样本级别的相对注意力机制，以建模句间依赖关系，可视化显示模型同时关注相邻句和远距离句，且对后续句子的关注更强。
• 通过使用预训练的源语言和目标语言模型进行迁移学习，提升性能，尤其在文档级数据稀缺时效果显著。

实验结果

研究问题

• RQ1 单一NMT模型是否能有效处理任意长度的文档（包括单句）而不损失性能？
• RQ2 增大文档上下文是否能提升翻译质量，还是长上下文中的噪声会降低性能？
• RQ3 所提模型中的注意力机制如何在源句和目标句之间分配注意力，其上下文利用模式有何特征？
• RQ4 与上下文无关的模型相比，该模型在多大程度上解决了回指、词汇一致性及省略等语篇现象？
• RQ5 该模型的注意力模式能否揭示全局上下文使用过程中的有意义见解？

主要发现

• 在TED Zh-En数据集上，该模型相比最强基线模型提升2.1 BLEU，实现SOTA性能。
• 在IWSLT2017 En-Ro和IWSLT2017 En-Zh基准上，该模型相比先前的文档级NMT模型提升1.5–2.0 BLEU。
• 该模型在单句输入上仍保持强大性能，而先前的上下文感知模型在缺乏文档上下文时性能显著下降。
• 分析显示，模型同时关注最近邻句和远距离句，且对后续句子的关注更强，表明其有效利用了长距离上下文。
• 该模型在语篇现象上的准确率显著提升：指代消解达61.3%，词汇一致性达46.1%，省略（词形变化）达61.0%，省略（动词短语）达35.6%，优于基线模型。
• 通过源语言和目标语言的预训练进行迁移学习，使TED Zh-En数据集上的性能提升至21.3 BLEU，表明预训练可有效缓解数据稀缺问题。