[论文解读] Multimodal Compact Bilinear Pooling for Multimodal Neural Machine Translation

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Mar 23, 2017

Multimodal Machine Learning Applications参考文献 11被引用 27

一句话总结

本文提出多模态紧凑双线性池化（MCB）方法，通过双线性交互结合视觉与文本注意力特征，并利用张量压缩技术降低维度，以提升多模态神经机器翻译性能。MM预注意力模型在注意力计算前应用MCB，取得29.75的BLEU分数，优于逐元素相加与逐元素相乘方法，证明了在处理流程早期应用MCB的有效性。

ABSTRACT

In state-of-the-art Neural Machine Translation, an attention mechanism is used during decoding to enhance the translation. At every step, the decoder uses this mechanism to focus on different parts of the source sentence to gather the most useful information before outputting its target word. Recently, the effectiveness of the attention mechanism has also been explored for multimodal tasks, where it becomes possible to focus both on sentence parts and image regions. Approaches to pool two modalities usually include element-wise product, sum or concatenation. In this paper, we evaluate the more advanced Multimodal Compact Bilinear pooling method, which takes the outer product of two vectors to combine the attention features for the two modalities. This has been previously investigated for visual question answering. We try out this approach for multimodal image caption translation and show improvements compared to basic combination methods.

研究动机与目标

• 探究多模态紧凑双线性池化（MCB）是否在标准特征组合方法之外提升多模态神经机器翻译性能。
• 解决高效结合高维视觉与文本特征的挑战，同时保留跨模态交互信息。
• 评估在注意力机制之前（MM预注意力）应用MCB是否优于在之后（MM注意力）应用。
• 在多模态翻译任务中，将MCB与逐元素相加、相乘及拼接方法进行比较。

提出的方法

• MCB通过计算两个模态特定上下文向量（文本与视觉注意力特征）的外积，生成高维联合表征。
• 应用张量压缩算法（tensor sketch）将外积压缩为低维向量（d ∈ {512, 1024, 2048, 4096, 8192, 16000}），以提升计算可行性。
• MM预注意力模型在注意力机制之前应用MCB池化，使注意力权重基于融合后的高容量特征空间进行计算。
• MM注意力模型在模态特定注意力向量计算并经逐元素操作融合后，再应用MCB。
• MM预注意力模型中使用两层卷积网络头，以在MCB之后预测视觉特征图上的空间注意力权重。
• 模型采用双向LSTM编码器、ResNet-50提取视觉特征，并使用基于注意力的解码器，对文本与图像表征实施软注意力机制。

实验结果

研究问题

• RQ1 与逐元素相加或相乘等标准特征组合方法相比，多模态紧凑双线性池化（MCB）是否能提升多模态神经机器翻译性能？
• RQ2 MCB能否有效应用于多模态NMT模型的注意力机制中？其位置（注意力之前或之后）是否影响性能表现？
• RQ3 MCB输出的维度（d）是否影响翻译质量？在本任务中是否存在最优的MCB维度设置？
• RQ4 在注意力机制之前应用MCB池化（MM预注意力）是否优于在之后应用（MM注意力）？
• RQ5 MCB是否能增强多模态翻译中的跨模态交互，尤其是在网络中更长时间保留联合特征空间的情况下？

主要发现

• 在预注意力设置中，MM预注意力模型采用MCB且d=4096时，BLEU得分为29.75，优于逐元素相加（28.57）与逐元素相乘（29.14），表明MCB在早期融合中表现更优。
• MM注意力模型使用MCB后未见性能提升，BLEU得分为28.48，低于逐元素相乘方法，表明当经过大幅降维后，MCB的优势被削弱。
• 与逐元素相加相比，MM预注意力模型在MCB下实现+0.62的BLEU提升；与逐元素相乘相比，实现+1.18的BLEU提升，表明通过MCB实现早期融合可显著增强性能。
• MM预注意力模型中MCB的最优维度为d=4096，此时BLEU得分最高（29.75）；更高维度（如d=8192）反而导致性能下降。
• 在MM预注意力模型中，MCB（d=4096）的METEOR得分为48.80，显著优于单模态基线（48.32）及其他组合方法。
• 本研究证明，MCB池化在多模态翻译中具有有效性，但仅当在网络早期（注意力机制之前）应用时才有效，以保留高维跨模态交互信息。