[论文解读] Supervised Attentions for Neural Machine Translation

Haitao Mi, Zhiguo Wang+1 more|arXiv (Cornell University)|Jul 30, 2016

Natural Language Processing Techniques参考文献 16被引用 29

一句话总结

本论文提出了一种用于神经机器翻译（NMT）的监督注意力机制，通过最小化模型生成的注意力权重与标准对齐结果（如GIZA++或MaxEnt生成的结果）之间的距离，提升了对齐精度。通过联合优化翻译和对齐目标，并采用对齐矩阵的平滑变换，该方法在BLEU分数和对齐F1分数上均取得显著提升，优于一个强大的大词汇量NMT系统和一个当前最先进的基于句法的系统。

ABSTRACT

In this paper, we improve the attention or alignment accuracy of neural machine translation by utilizing the alignments of training sentence pairs. We simply compute the distance between the machine attentions and the "true" alignments, and minimize this cost in the training procedure. Our experiments on large-scale Chinese-to-English task show that our model improves both translation and alignment qualities significantly over the large-vocabulary neural machine translation system, and even beats a state-of-the-art traditional syntax-based system.

研究动机与目标

• 提升神经机器翻译（NMT）系统中注意力对齐的准确性，因为其通常在性能上不如传统对齐模型。
• 解决标准NMT模型仅优化翻译质量而忽略对齐保真度的局限性。
• 利用监督对齐结果（如GIZA++或MaxEnt生成的结果）作为监督信号，以更有效地训练注意力机制。
• 通过联合优化框架，同时提升翻译质量（BLEU）和对齐质量（F1）。
• 探究对齐监督与平滑变换是否能生成更清晰、更准确的NMT注意力分布。

提出的方法

• 将预测注意力权重与标准对齐结果（如GIZA++或MaxEnt生成的结果）之间的对齐距离代价引入NMT训练目标。
• 对标准对齐结果执行两步变换：首先按行归一化形成概率分布，然后应用平滑变换以提升稳定性和对齐质量。
• 联合优化翻译似然与对齐距离，使用结合了两种损失的联合目标函数以平衡两者。
• 采用门控循环单元（GRU）解码器与两层前馈网络计算注意力权重，其中注意力分布通过兼容函数的softmax运算生成。
• 对对齐矩阵应用平滑技术（Gau.），以减少噪声并提升泛化能力，尤其针对低概率对齐。
• 通过反向传播端到端训练模型，使梯度同时流经翻译与对齐两部分。

实验结果

研究问题

• RQ1 监督对齐信号是否能显著提升NMT模型中注意力分布的质量？
• RQ2 联合优化翻译与对齐是否优于仅优化翻译？
• RQ3 对齐源的选择（如GIZA++与MaxEnt）如何影响最终的NMT性能？
• RQ4 对对齐矩阵应用平滑变换是否能提升注意力学习的鲁棒性与准确性？
• RQ5 对齐监督是否能同时提升自动指标（BLEU）与人工评估的对齐F1分数？

主要发现

• 所提方法采用联合优化（J + Gau.）相比基线大词汇量NMT（LVNMT）系统，BLEU分数提升1.2分，相比当前最先进的基于句法系统提升0.3分。
• 对齐F1分数从基线LVNMT的45.76提升至使用MaxEnt对齐结果的J + Gau.方法的51.94，相对提升6.18个百分点。
• 联合优化策略（J）优于分别优化对齐（A）与翻译（T）组件的方法，表明端到端的联合学习至关重要。
• 使用MaxEnt对齐作为监督信号时，召回率（55.38）与F1分数（51.94）均高于GIZA++或Zh→En，表明MaxEnt提供更清晰、更具信息量的对齐信号。
• 平滑变换（Gau.）在所有测试集上均一致提升BLEU与F1分数，且在BLEU提升方面具有统计显著性（p < 0.01）相比LVNMT。
• 加入对齐代价后，简洁性惩罚（BP）得到改善，表明模型生成的翻译长度更接近人类参考译文。