[论文解读] Multimodal Transformer with Multi-View Visual Representation for Image Captioning

Jun Yu, Jing Li+2 more|arXiv (Cornell University)|May 20, 2019

Multimodal Machine Learning Applications参考文献 49被引用 30

一句话总结

该论文提出了一种用于图像字幕生成的多模态Transformer（MT）模型，通过联合建模模态内自注意力（词与词、物体与物体）和模态间交叉注意力（词与物体），实现深层多模态推理。通过使用专用编码器整合多视角视觉特征（包括对齐与非对齐的特征），MT模型在MSCOCO实时排行榜上以七模型集成的方式取得SOTA性能，排名第一。

ABSTRACT

Image captioning aims to automatically generate a natural language description of a given image, and most state-of-the-art models have adopted an encoder-decoder framework. The framework consists of a convolution neural network (CNN)-based image encoder that extracts region-based visual features from the input image, and an recurrent neural network (RNN)-based caption decoder that generates the output caption words based on the visual features with the attention mechanism. Despite the success of existing studies, current methods only model the co-attention that characterizes the inter-modal interactions while neglecting the self-attention that characterizes the intra-modal interactions. Inspired by the success of the Transformer model in machine translation, here we extend it to a Multimodal Transformer (MT) model for image captioning. Compared to existing image captioning approaches, the MT model simultaneously captures intra- and inter-modal interactions in a unified attention block. Due to the in-depth modular composition of such attention blocks, the MT model can perform complex multimodal reasoning and output accurate captions. Moreover, to further improve the image captioning performance, multi-view visual features are seamlessly introduced into the MT model. We quantitatively and qualitatively evaluate our approach using the benchmark MSCOCO image captioning dataset and conduct extensive ablation studies to investigate the reasons behind its effectiveness. The experimental results show that our method significantly outperforms the previous state-of-the-art methods. With an ensemble of seven models, our solution ranks the 1st place on the real-time leaderboard of the MSCOCO image captioning challenge at the time of the writing of this paper.

研究动机与目标

• 解决现有图像字幕模型仅建模交叉注意力（模态间）而忽略自注意力（模态内）交互的局限性。
• 通过整合来自不同图像视角的多视角特征，提升视觉表征能力，增强特征的多样性与判别性。
• 设计一种深层、端到端可训练的基于Transformer的架构，以捕捉复杂多模态依赖关系，实现准确的字幕生成。
• 评估在统一注意力模块中联合建模模态内与模态间注意力的有效性，用于图像字幕生成。
• 通过在MSCOCO数据集上的广泛消融实验与基准评估，证明模型的优越性能。

提出的方法

• 提出一种多模态Transformer（MT）模型，用基于深度自注意力与交叉注意力的编码器-解码器架构替代传统的CNN-RNN编码器。
• 采用模块化注意力模块，同时建模词与词、物体与物体以及词与物体之间的注意力，以捕捉模态内与模态间的关系。
• 提出两种变体：MT_amv用于对齐的多视角特征，MT_umv用于非对齐的多视角特征，利用引导注意力实现跨视角特征对齐。
• 使用预训练目标检测器（如Faster R-CNN）的区域特征作为图像编码器的输入，以获得更丰富的视觉表征。
• 在编码器与解码器中均采用深层多头注意力模块堆叠，实现对视觉与文本序列的分层推理。
• 使用交叉熵损失进行端到端训练，并通过消融实验验证各组件的贡献。

实验结果

研究问题

• RQ1 在统一的Transformer模块中联合建模自注意力与交叉注意力，是否能提升图像字幕生成性能？
• RQ2 整合多视角视觉特征（包括对齐与非对齐）如何增强字幕生成的视觉表征能力？
• RQ3 深度注意力堆叠对多模态推理与字幕准确率有何影响？
• RQ4 所提出的MT变体（MT_amv与MT_umv）在多样化图像场景下的性能与鲁棒性如何比较？
• RQ5 注意力图在多大程度上揭示了有意义的物体-词关系与上下文理解？

主要发现

• 所提出的MT模型在MSCOCO图像字幕基准上，使用单个模型即显著优于先前的SOTA方法。
• 七模型集成的MT模型在论文发表时，于MSCOCO实时图像字幕排行榜上位列第一。
• MT_umv变体（处理非对齐多视角特征）的定量结果优于MT_amv，表明灵活特征对齐具有优势。
• 定性分析显示，深层模块（如第6层）的注意力图能突出关键物体及其关系（如“woman”与“skateboard”），表明模型具备有效的多模态推理能力。
• 模型能有效学习对非对齐多视角特征进行对齐，注意力图显示能正确关联不同视角中对应的物体（如人物的不同部位）。
• 消融实验证实，自注意力与多视角特征融合均对性能提升至关重要，各组件对字幕准确率均有显著贡献。