[论文解读] Paying Attention to Multi-Word Expressions in Neural Machine Translation

Matīss Rikters, Ondřej Bojar|arXiv (Cornell University)|Oct 17, 2017

Natural Language Processing Techniques参考文献 14被引用 6

一句话总结

本文提出通过在训练数据中加入合成的平行多词表达（MWE）对，来增强神经机器翻译（NMT）对多词表达（MWEs）的处理能力。评估了两种策略——添加孤立的MWE对和包含MWE的完整句子——发现仅添加MWE对即可在MWE专用测试集上将BLEU提升0.99分，注意力对齐分析也证实增强后的模型在MWE上的注意力聚焦更加准确。

ABSTRACT

Processing of multi-word expressions (MWEs) is a known problem for any natural language processing task. Even neural machine translation (NMT) struggles to overcome it. This paper presents results of experiments on investigating NMT attention allocation to the MWEs and improving automated translation of sentences that contain MWEs in English->Latvian and English->Czech NMT systems. Two improvement strategies were explored -(1) bilingual pairs of automatically extracted MWE candidates were added to the parallel corpus used to train the NMT system, and (2) full sentences containing the automatically extracted MWE candidates were added to the parallel corpus. Both approaches allowed to increase automated evaluation results. The best result - 0.99 BLEU point increase - has been reached with the first approach, while with the second approach minimal improvements achieved. We also provide open-source software and tools used for MWE extraction and alignment inspection.

研究动机与目标

• 解决神经机器翻译（NMT）中多词表达（MWE）翻译效果差的问题，因为NMT常无法保留习语性或固定搭配的多词短语。
• 研究NMT模型在推理过程中如何分配注意力给MWE，特别是在英语-拉脱维亚语和英语-捷克语等低资源语言设置下的表现。
• 通过自动提取并对齐的平行MWE语料库，对训练数据进行增强，以提升NMT在MWE上的表现。
• 评估合成MWE数据对自动指标（BLEU）和人工检查注意力对齐效果的影响。
• 发布开源工具，用于MWE提取、注意力对齐可视化以及集成到NMT流水线中。

提出的方法

• 使用基于规则的MWE工具包，从平行单语语料和并行语料中提取候选MWE，重点关注具有词汇和句法惯用特征的模式。
• 生成两类合成训练数据：(1) 孤立的双语MWE对，以及(2) 包含提取MWE的完整句子，均使用BPE在子词层面进行对齐。
• 在增强后的训练数据上微调基线NMT模型（Neural Monkey），使用WMT 2017并行语料库进行英语-捷克语和英语-拉脱维亚语的训练。
• 使用自定义的基于Web的工具，渲染源语言和目标语言BPE标记之间的软注意力矩阵，以可视化注意力对齐。
• 通过已知包含MWE的示例句子，对比基线模型与增强模型的注意力模式，重点关注对齐强度和连贯性。
• 使用专门的MWE聚焦测试集上的BLEU分数来量化性能提升，辅以对翻译质量及注意力行为的人工检查。

实验结果

研究问题

• RQ1 NMT模型当前如何分配注意力给多词表达（MWEs），其注意力矩阵中呈现出何种模式？
• RQ2 在训练数据中加入合成MWE对是否能通过自动和人工评估提升NMT在MWE上的表现？
• RQ3 将包含MWE的完整句子加入训练数据，是否比仅添加孤立的MWE对带来更好的性能提升？
• RQ4 增强后的模型在MWE组成部分上的注意力是否比基线模型更集中、更连贯？
• RQ5 注意力对齐可视化工具是否能有效揭示数据增强后MWE翻译性能的改进？

主要发现

• 仅将孤立的双语MWE对加入训练数据，取得了最高性能提升，在MWE专用测试集上BLEU提升了0.99分。
• 完整句子MWE增强策略带来的性能增益微乎其微，表明在此情境下，孤立MWE更适合作为数据增强的有效方式。
• 人工检查确认，增强后的模型在特定MWE的翻译上表现更准确，例如在英语-拉脱维亚语翻译中对“network users”的处理。
• 注意力对齐可视化显示，增强模型中源语言MWE词到其正确目标语言翻译的注意力连线更强、更集中，尤其在多词单位上表现明显。
• 基线模型对MWE组成部分表现出微弱且零散的注意力，表明对齐存在不确定性；而增强模型则展现出更清晰、更连贯的注意力模式。
• 开源的MWE提取与注意力对齐可视化工具成功用于检查和验证注意力行为及翻译质量的改进。