[论文解读] Similarity Reasoning and Filtration for Image-Text Matching

Haiwen Diao, Ying Zhang+2 more|arXiv (Cornell University)|Jan 5, 2021

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出SGRAF，一种用于图像-文本匹配的新网络，通过学习基于向量的相似性表征，并利用图卷积网络对局部和全局对齐进行推理。该方法引入了关系感知的相似性推理模块（Similarity Graph Reasoning, SGR）和相似性注意力过滤模块（Similarity Attention Filtration, SAF），以抑制无意义对齐，从而在Flickr30K和MSCOCO数据集上实现最先进性能，并提升可解释性。

ABSTRACT

Image-text matching plays a critical role in bridging the vision and language, and great progress has been made by exploiting the global alignment between image and sentence, or local alignments between regions and words. However, how to make the most of these alignments to infer more accurate matching scores is still underexplored. In this paper, we propose a novel Similarity Graph Reasoning and Attention Filtration (SGRAF) network for image-text matching. Specifically, the vector-based similarity representations are firstly learned to characterize the local and global alignments in a more comprehensive manner, and then the Similarity Graph Reasoning (SGR) module relying on one graph convolutional neural network is introduced to infer relation-aware similarities with both the local and global alignments. The Similarity Attention Filtration (SAF) module is further developed to integrate these alignments effectively by selectively attending on the significant and representative alignments and meanwhile casting aside the interferences of non-meaningful alignments. We demonstrate the superiority of the proposed method with achieving state-of-the-art performances on the Flickr30K and MSCOCO datasets, and the good interpretability of SGR and SAF modules with extensive qualitative experiments and analyses.

研究动机与目标

• 为解决基于标量的相似性计算在图像-文本匹配中的局限性，其无法捕捉复杂的对齐模式。
• 通过统一的关系感知方式建模局部区域-词语对齐与全局图像-句子对齐，提升匹配准确率。
• 在相似性聚合过程中，减少无意义对齐（如停用词）的干扰。
• 通过注意力机制实现显著对齐的可视化与分析，提升模型可解释性。
• 构建统一框架，有效融合局部与全局对齐，以提升跨模态匹配性能。

提出的方法

• 该方法学习基于向量的相似性表征，而非标量余弦相似度，以更好地捕捉图像区域与文本片段之间的跨模态关联。
• 相似性图推理（SGR）模块利用图卷积网络建模局部与全局对齐之间的关系，实现关系感知的相似性推理。
• 相似性注意力过滤（SAF）模块通过可学习的注意力权重，选择性关注显著对齐并抑制无关对齐。
• SGR与SAF模块被整合进端到端深度学习框架中，通过对比损失进行训练以优化匹配分数。
• 该框架通过双分支编码器处理图像与文本特征，随后在生成的对齐图上进行相似性计算与基于图的推理。
• 最终匹配分数通过加权聚合过滤后与推理后的相似性计算得出，实现鲁棒且准确的图像-文本检索。

实验结果

研究问题

• RQ1 基于向量的相似性表征是否在捕捉复杂视觉-语义对齐方面优于标量余弦相似度？
• RQ2 对局部与全局对齐进行基于图的推理，是否能超越简单池化策略，进一步提升匹配准确率？
• RQ3 通过注意力机制过滤无意义对齐（如“a”、“in”等词），是否能提升匹配性能与鲁棒性？
• RQ4 所提出的SGRAF框架是否在标准图像-文本匹配基准上达到最先进性能？
• RQ5 SGR与SAF模块的注意力机制在多大程度上具备可解释性，并与人工标注的真值对应关系一致？

主要发现

• SGRAF模型在Flickr30K数据集上达到最先进性能，在R@1与R@5指标上均优于先前方法。
• 在MSCOCO数据集上，SGRAF实现了新的最先进结果，展现出在多样化图像-文本对上的强大泛化能力。
• SGR模块通过建模局部与全局对齐之间的依赖关系，有效捕捉了复杂的匹配模式。
• SAF模块显著减少了无意义对齐的干扰，注意力图显示仅突出显示了相关区域-词语对。
• 定性分析表明，SAF中的注意力权重与人工标注的真值对应关系一致，增强了模型可解释性。
• 消融实验验证了SGR与SAF组件的有效性，当两者同时使用时，性能提升稳定且一致。