[论文解读] Multimodal Attention for Neural Machine Translation

Ozan Çağlayan, Loïc Barrault+1 more|arXiv (Cornell University)|Sep 13, 2016

Multimodal Machine Learning Applications参考文献 27被引用 37

一句话总结

该论文提出了一种多模态神经机器翻译（MNMT）模型，通过使用模态特定的注意力机制，在翻译过程中联合关注图像特征和文本描述。在Multi30k数据集上进行训练后，该模型相较于纯文本NMT基线模型，BLEU和METEOR指标最高提升1.6分，当采用模态依赖的注意力机制和最优源选择策略时性能最佳。

ABSTRACT

The attention mechanism is an important part of the neural machine translation (NMT) where it was reported to produce richer source representation compared to fixed-length encoding sequence-to-sequence models. Recently, the effectiveness of attention has also been explored in the context of image captioning. In this work, we assess the feasibility of a multimodal attention mechanism that simultaneously focus over an image and its natural language description for generating a description in another language. We train several variants of our proposed attention mechanism on the Multi30k multilingual image captioning dataset. We show that a dedicated attention for each modality achieves up to 1.6 points in BLEU and METEOR compared to a textual NMT baseline.

研究动机与目标

• 探究结合视觉与文本模态信息是否能提升神经机器翻译性能。
• 设计并评估不同注意力机制，以有效关注图像特征和源语言描述。
• 确定序列到序列翻译中多模态注意力的最佳架构配置。
• 分析多模态注意力对图像字幕生成和翻译任务中注意力对齐与生成质量的影响。

提出的方法

• 该模型采用序列到序列架构，并为图像特征和源语言文本分别设计独立的注意力机制。
• 图像特征从预训练的CNN（VGG）中提取，并处理为14×14×512的特征图。
• 模型使用模态特定的注意力向量，对来自图像和文本模态的编码器状态计算加权和。
• 训练了多种变体：MNMT5（独立注意力头）、MNMT7（编码器依赖注意力）以及采用源选择策略的MNMT。
• 通过16倍上采样将注意力权重可视化，以显示在原始图像上的空间注意力区域。
• 该模型在包含英语图像字幕及其德语翻译的Multi30k数据集上进行端到端训练。

实验结果

研究问题

• RQ1 能否通过一种联合关注图像和文本描述的多模态注意力机制提升神经机器翻译性能？
• RQ2 在对齐质量与翻译性能方面，模态特定注意力与共享注意力相比表现如何？
• RQ3 源选择（如选择最具信息量的模态）对多模态NMT中翻译质量有何影响？
• RQ4 对图像特征和文本词的注意力模式如何与生成描述的质量相关联？

主要发现

• 采用模态依赖注意力的MNMT模型相较于纯文本NMT基线，BLEU和METEOR指标最高提升1.6分。
• 采用最优源选择策略的最佳配置相较基线实现CIDEr-D指标提升4.2分。
• 共享注意力机制无法保持文本对齐，因为注意力机制因视觉模态特征密度更高而产生偏向。
• 可视化结果表明，模态依赖注意力能有效学习关注相关图像区域和源词，而共享注意力会破坏文本对齐。
• 与NMT基线相比，该模型生成的描述更详细、更准确，例如能正确识别衣物颜色和姿态。
• 定性分析证实，该模型能有效利用两种模态，尤其在视觉细节有助于提升翻译准确性的场景中表现更优。