[论文解读] Two-stream Hierarchical Similarity Reasoning for Image-text Matching

Ran Chen, Hanli Wang+2 more|arXiv (Cornell University)|Mar 10, 2022

Multimodal Machine Learning Applications被引用 6

一句话总结

本文提出了一种用于图像-文本匹配的两流分层相似性推理（TSHSR）网络，通过两流架构联合建模图像到文本和文本到图像的相似性，并通过提取多层级分层相似性信息增强推理能力。该方法在MSCOCO和Flickr30K数据集上取得了最先进性能，图像检索和句子检索的R@1分别达到78.8%和62.8%。

ABSTRACT

Reasoning-based approaches have demonstrated their powerful ability for the task of image-text matching. In this work, two issues are addressed for image-text matching. First, for reasoning processing, conventional approaches have no ability to find and use multi-level hierarchical similarity information. To solve this problem, a hierarchical similarity reasoning module is proposed to automatically extract context information, which is then co-exploited with local interaction information for efficient reasoning. Second, previous approaches only consider learning single-stream similarity alignment (i.e., image-to-text level or text-to-image level), which is inadequate to fully use similarity information for image-text matching. To address this issue, a two-stream architecture is developed to decompose image-text matching into image-to-text level and text-to-image level similarity computation. These two issues are investigated by a unifying framework that is trained in an end-to-end manner, namely two-stream hierarchical similarity reasoning network. The extensive experiments performed on the two benchmark datasets of MSCOCO and Flickr30K show the superiority of the proposed approach as compared to existing state-of-the-art methods.

研究动机与目标

• 为解决现有图像-文本匹配方法中缺乏多层级分层相似性建模的问题。
• 克服单流相似性对齐（例如仅图像到文本或文本到图像）在捕捉互补跨模态信息方面的局限性。
• 开发一种端到端可训练的框架，自动提取并利用分层上下文和局部交互信号以提升推理能力。
• 证明分层相似性推理与双流相似性计算在提升图像-文本匹配性能方面的有效性。

提出的方法

• 提出一种分层相似性推理（HSR）模块，通过传播最近邻信号，并从局部到全局逐步聚合多层级相似性表征。
• 设计一种两流架构，分别计算图像到文本和文本到图像的相似性，实现视觉与文本线索的互补对齐。
• 使用图卷积网络（GCNs）建模区域-词相似性之间的交互，构建图结构，其中节点表示局部相似性得分，边表示邻域关系。
• 通过可学习的融合机制将局部交互特征与分层上下文特征结合，以增强全局表征学习。
• 采用端到端训练策略，联合优化特征提取、相似性计算与推理模块。
• 在HSR中应用多步推理过程，每一层逐步从传播信号中捕获更高级别的上下文信息。

实验结果

研究问题

• RQ1 分层相似性推理模块中的推理步数如何影响检索性能？
• RQ2 与传统相似性推理相比，分层相似性推理在多大程度上提升了匹配准确率？
• RQ3 在图像-文本匹配中，哪一流——图像到文本或文本到图像——提供了更有效的相似性信号？
• RQ4 不同层级的表征（局部、上下文、全局）如何共同贡献于最终的匹配性能？

主要发现

• 所提出的TSHSR模型在MSCOCO和Flickr30K上均达到最先进性能，图像检索的R@1为78.8%，R@10为98.6%；句子检索的R@1为62.8%，R@10为95.6%。
• 增加HSR层的数量可逐步提升性能，最优结果出现在三层时，表明更深层次的推理能增强特征表征。
• 分层相似性推理显著优于传统相似性推理，证明在推理过程中建模多层级上下文的必要性。
• 图像到文本层级的相似性推理性能优于文本到图像层级，可能是因为其与自然语言序列具有更强的结构对齐性。
• 消融实验验证了结合图像到文本与文本到图像双流能带来更优性能，证实双流对齐的优势。
• 可视化结果表明，TSHSR能够高精度地捕捉复杂匹配模式，包括细粒度表达和多个实体，且在Top-1检索中表现优异。