[论文解读] Multimodal Convolutional Neural Networks for Matching Image and Sentence

Lin Ma, Zhengdong Lu+2 more|arXiv (Cornell University)|Apr 23, 2015

Multimodal Machine Learning Applications参考文献 43被引用 58

一句话总结

该论文提出多模态卷积神经网络（m-CNNs），通过卷积架构联合编码图像和句子，以在词、短语和句子层级上建模匹配关系。该方法通过端到端训练学习分层的跨模态交互，在Flickr30K和COCO数据集上实现了双向图像与句子检索的最先进性能。

ABSTRACT

In this paper, we propose multimodal convolutional neural networks (m-CNNs) for matching image and sentence. Our m-CNN provides an end-to-end framework with convolutional architectures to exploit image representation, word composition, and the matching relations between the two modalities. More specifically, it consists of one image CNN encoding the image content, and one matching CNN learning the joint representation of image and sentence. The matching CNN composes words to different semantic fragments and learns the inter-modal relations between image and the composed fragments at different levels, thus fully exploit the matching relations between image and sentence. Experimental results on benchmark databases of bidirectional image and sentence retrieval demonstrate that the proposed m-CNNs can effectively capture the information necessary for image and sentence matching. Specifically, our proposed m-CNNs for bidirectional image and sentence retrieval on Flickr30K and Microsoft COCO databases achieve the state-of-the-art performances.

研究动机与目标

• 为解决图像与自然语言句子之间复杂、多层次匹配关系的建模挑战。
• 开发一种端到端的深度学习框架，同时捕捉词、短语和句子层级上的跨模态对应关系。
• 通过利用句子片段的分层组合及其与图像特征的交互，提升双向图像与句子检索的性能。
• 证明卷积架构能够有效建模超越全局句子表示的多模态匹配。

提出的方法

• m-CNN框架由用于编码图像内容的图像CNN和联合建模图像与句子表征的匹配CNN组成。
• 匹配CNN使用滑动窗口卷积，将词组合成多个层级（词、短语、句子）的语义片段，并学习图像区域与句子片段之间的跨模态注意力。
• 该模型采用分层架构，通过卷积层将词级特征组合为更高层级的语义表征。
• 在成对的图像-句子数据上进行端到端训练，以优化语义对齐样本之间的匹配分数。
• 提出了m-CNN的多个变体：m-CNN_wd（词级）、m-CNN_st（句子级）、m-CNN_phs/phl（短语级）以及m-CNN_ENS（所有层级的集成模型）。
• 图像表征使用预训练模型（OverFeat和VGG）进行初始化，其中VGG因更强的特征学习能力而表现更优。

实验结果

研究问题

• RQ1 卷积神经网络能否有效建模图像与句子之间多层次匹配关系（词、短语、句子）？
• RQ2 与全局句子编码相比，学习句子片段的分层组合是否能提升图像-句子匹配性能？
• RQ3 不同层级的跨模态交互（词 vs. 短语 vs. 句子）对检索准确率的贡献如何？
• RQ4 m-CNNs能否在双向图像与句子检索任务中超越现有最先进模型？

主要发现

• m-CNN_ENS集成模型在Flickr30K和COCO数据集上均实现了双向图像与句子检索的最先进性能。
• 在图像检索任务中，m-CNN_ENS显著优于所有基线模型，包括Deep Fragment、SDT-RNN和DVSA。
• 在句子检索任务中，m-CNN_ENS在COCO数据集上表现最佳，且在中位数排名（Med r）上仅次于DVSA，展现出强大的泛化能力。
• m-CNN_st变体（建模句子级表征）始终优于其他m-CNN变体，表明全局句子编码的重要性。
• 使用VGG初始化的m-CNN在图像CNN上显著优于使用OverFeat的模型，凸显了图像特征质量的关键作用。
• 消融实验表明，m-CNN能够按自然顺序将词语组合成有意义的语义片段，而随机打乱句子词语则会大幅降低匹配分数。