[论文解读] What does Attention in Neural Machine Translation Pay Attention to?

Hamidreza Ghader, Christof Monz|UvA-DARE (University of Amsterdam)|Oct 9, 2017

Natural Language Processing Techniques参考文献 20被引用 11

一句话总结

本文通过将神经机器翻译（NMT）中的注意力机制与传统词对齐进行比较，分析其作用，发现注意力机制捕捉的不仅限于翻译对应词。研究显示，注意力机制在处理动词时尤其偏离对齐模式，转而关注句法上下文（如主语、宾语和助动词），表明其学习到了超越对齐关系的更丰富的语言结构。这解释了为何强制注意力与传统对齐方式一致反而会损害某些词类的翻译性能。

ABSTRACT

Attention in neural machine translation provides the possibility to encode relevant parts of the source sentence at each translation step. As a result, attention is considered to be an alignment model as well. However, there is no work that specifically studies attention and provides analysis of what is being learned by attention models. Thus, the question still remains that how attention is similar or different from the traditional alignment. In this paper, we provide detailed analysis of attention and compare it to traditional alignment. We answer the question of whether attention is only capable of modelling translational equivalent or it captures more information. We show that attention is different from alignment in some cases and is capturing useful information other than alignments.

研究动机与目标

• 探究NMT模型中的注意力机制是否仅捕捉翻译对应词，还是也包含超越对齐关系的额外语言信息。
• 在不同词性（POS标签）下，比较注意力机制行为与传统词对齐的关系。
• 确定使用显式对齐标签进行注意力训练是否能提升所有词类的翻译质量。
• 分析目标词的句法角色如何影响注意力分布。
• 理解为何先前研究中使用对齐标签进行注意力引导的实验结果参差不齐。

提出的方法

• 作者分析了在RWTH IWSLT 2015英语-德语翻译数据集上训练的NMT模型的注意力分布。
• 使用ParZu依存句法分析器提取每个注意力分布中源端的依存角色（如主语、宾语、助动词等）。
• 针对每个目标词，计算其注意力概率质量在对齐词（基于GIZA++/fast_align）与非对齐词之间的分配比例。
• 通过测量注意力熵与词预测损失之间的相关性，评估注意力的集中程度与模型置信度。
• 按词性标签和依存角色对注意力贡献进行分类，以识别注意力分布的模式。
• 比较不同注意力机制（如加性注意力、点积注意力）的行为，并评估其与传统对齐方式的符合程度。

实验结果

研究问题

• RQ1 NMT中的注意力机制在多大程度上与传统词对齐一致？这种一致性如何随词性标签而变化？
• RQ2 注意力是否仅建模翻译对应词，还是也编码了句法和上下文信息？
• RQ3 为何一些研究在使用对齐标签训练注意力时报告翻译质量提升，而另一些研究则未见改善？
• RQ4 内容词（如名词）与功能词（如动词、代词）的注意力分布有何差异？
• RQ5 依存关系（如主语、宾语、助动词）在注意力机制中的作用是什么，其影响是否超越了词对齐？

主要发现

• 对于名词，注意力与传统对齐高度一致（68%的注意力质量集中在对齐点上），表明对齐指导对内容词有益。
• 对于动词，仅49%的注意力质量集中在对齐点上，51%则指向主语、宾语和助动词等句法上下文，表明注意力捕捉了远超翻译对应词的信息。
• 代词和助词的注意力分布最分散（分别有36%和64%的质量落在非对齐点上），表明注意力是向相关上下文扩展，而非因错误导致。
• 代词和助词的注意力熵与词预测损失之间的相关性较低，表明分散的注意力提升了预测置信度，而非引入噪声。
• 使用对齐标签训练注意力会损害动词的翻译性能，因为它迫使模型忽略非对齐注意力中捕捉到的有用上下文信息。
• 注意力模式高度依赖于目标词的词性标签，其中动词表现出最复杂且高度依赖上下文的注意力行为。