[论文解读] Step-Wise Hierarchical Alignment Network for Image-Text Matching

Zhong Ji, Kexin Chen+1 more|arXiv (Cornell University)|Jun 11, 2021

Multimodal Machine Learning Applications参考文献 19被引用 10

一句话总结

本文提出了一种分步层次对齐网络（SHAN）用于图像-文本匹配，通过逐步执行局部到局部、全局到局部和全局到全局的跨模态对齐，捕捉细粒度且分层的视觉-语义相关性。该方法在Flickr30k和MS-COCO数据集上实现了最先进性能，在Flickr30k上的文本检索R@1提升2.8%，在MS-COCO上的图像检索R@1达到62.6%。

ABSTRACT

Image-text matching plays a central role in bridging the semantic gap between vision and language. The key point to achieve precise visual-semantic alignment lies in capturing the fine-grained cross-modal correspondence between image and text. Most previous methods rely on single-step reasoning to discover the visual-semantic interactions, which lacks the ability of exploiting the multi-level information to locate the hierarchical fine-grained relevance. Different from them, in this work, we propose a step-wise hierarchical alignment network (SHAN) that decomposes image-text matching into multi-step cross-modal reasoning process. Specifically, we first achieve local-to-local alignment at fragment level, following by performing global-to-local and global-to-global alignment at context level sequentially. This progressive alignment strategy supplies our model with more complementary and sufficient semantic clues to understand the hierarchical correlations between image and text. The experimental results on two benchmark datasets demonstrate the superiority of our proposed method.

研究动机与目标

• 为解决在存在细微语义差异的图像-文本配对中进行匹配的挑战，尤其是难负样本。
• 通过利用片段级和上下文级信息，提升细粒度视觉-语义对齐效果。
• 克服现有方法中单步推理的局限性，这些方法未能充分挖掘分层相关性。
• 设计一种渐进式、多步对齐机制，以增强跨模态相似性建模。
• 通过消融实验和基准评估，验证分层对齐的有效性。

提出的方法

• 该模型执行三个顺序对齐步骤：局部到局部（L2L）、全局到局部（G2L）和全局到全局（G2G）的跨模态对齐。
• L2L对齐使用交叉注意力机制，在片段级别匹配图像区域与文本单词。
• 自适应跨模态特征融合将局部对齐输出组合，为两种模态生成全局上下文表征。
• G2L对齐利用生成的全局上下文表征与局部特征，度量跨模态相似性。
• G2G对齐通过比较具备增强上下文感知能力的完整全局表征，进一步优化匹配结果。
• 模型使用三元组损失进行训练，边界参数m=0.2，并通过超参数μ1=0.3和μ2=0.5实现加权监督。

实验结果

研究问题

• RQ1 分步层次对齐策略是否能通过捕捉多层次视觉-语义相关性，提升图像-文本匹配性能？
• RQ2 在全局到局部和全局到全局对齐中引入上下文级信息，是否能增强对难负样本的判别能力？
• RQ3 与单步推理相比，渐进式对齐机制在细粒度交互学习中的有效性如何？
• RQ4 各对齐阶段（L2L、G2L、G2G）对整体性能的贡献分别是什么？
• RQ5 不同词嵌入策略对模型检索准确率的影响如何？

主要发现

• SHAN-full模型在Flickr30k上的文本检索R@1相比先前最先进方法实现了2.8%的绝对提升。
• 在MS-COCO上，该模型在图像检索中达到62.6%的R@1，优于所有对比方法。
• 消融研究证实，G2L和G2G对齐模块均显著提升性能，其中G2L带来明显增益。
• 结合预训练GloVe与可学习嵌入的策略，相比单独使用任一方法，性能更优。
• 可视化结果表明，注意力权重准确聚焦于相关图像区域和文本词汇，证实了有效的跨模态对齐。
• 该模型在上下文级对齐过程中有效抑制了无关或噪声特征，提升了对难负样本的鲁棒性。