[论文解读] ViSTA: Vision and Scene Text Aggregation for Cross-Modal Retrieval

Mengjun Cheng, Y. J. Sun+9 more|arXiv (Cornell University)|Mar 31, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

ViSTA 提出了一种基于完整 Transformer 的框架，通过一种新颖的融合标记机制和双重对比学习，统一了场景文本感知与非场景文本感知两种场景下的跨模态检索。该方法实现了最先进性能，在场景文本感知检索中将 Recall@1 提升了 8.4%，且推理速度至少比之前的方法快三倍。

ABSTRACT

Visual appearance is considered to be the most important cue to understand images for cross-modal retrieval, while sometimes the scene text appearing in images can provide valuable information to understand the visual semantics. Most of existing cross-modal retrieval approaches ignore the usage of scene text information and directly adding this information may lead to performance degradation in scene text free scenarios. To address this issue, we propose a full transformer architecture to unify these cross-modal retrieval scenarios in a single $ extbf{Vi}$sion and $ extbf{S}$cene $ extbf{T}$ext $ extbf{A}$ggregation framework (ViSTA). Specifically, ViSTA utilizes transformer blocks to directly encode image patches and fuse scene text embedding to learn an aggregated visual representation for cross-modal retrieval. To tackle the modality missing problem of scene text, we propose a novel fusion token based transformer aggregation approach to exchange the necessary scene text information only through the fusion token and concentrate on the most important features in each modality. To further strengthen the visual modality, we develop dual contrastive learning losses to embed both image-text pairs and fusion-text pairs into a common cross-modal space. Compared to existing methods, ViSTA enables to aggregate relevant scene text semantics with visual appearance, and hence improve results under both scene text free and scene text aware scenarios. Experimental results show that ViSTA outperforms other methods by at least $\bf{8.4}\%$ at Recall@1 for scene text aware retrieval task. Compared with state-of-the-art scene text free retrieval methods, ViSTA can achieve better accuracy on Flicker30K and MSCOCO while running at least three times faster during the inference stage, which validates the effectiveness of the proposed framework.

研究动机与目标

• 为解决现有跨模态检索模型在场景文本缺失或嘈杂时性能下降的局限性。
• 将场景文本感知与非场景文本感知的跨模态检索统一为一个单一、可扩展的框架，且在两种场景下均不损失性能。
• 通过轻量级融合机制，在场景文本存在时有效聚合相关场景文本语义，从而增强视觉表征。
• 通过双重对比学习增强视觉模态的鲁棒性，即使在场景文本缺失时也能保持特征对齐。
• 通过采用双编码器风格的 Transformer 架构，实现高效、高速的推理，计算开销极低。

提出的方法

• ViSTA 采用完整的 Transformer 架构，分别编码图像块和场景文本嵌入，然后通过专用的融合标记将二者融合，实现模态间信息交换。
• 融合标记机制支持视觉与场景文本特征之间的选择性、基于注意力的交互，集中于每种模态中最显著的特征。
• 引入双重对比学习：一个损失对齐图像-文本对，另一个损失对齐图像-融合对，提升在模态缺失情况下的视觉特征鲁棒性。
• 模型采用双编码器设置以实现高效推理，预先离线计算图像和文本特征，从而在大规模场景下实现快速相似度计算。
• 融合机制应用于多个层（最多 4 层），消融实验表明在 4 层时性能最佳。
• 消融实验对比了多种融合策略，包括全局注意力、交叉注意力和晚期融合，结果表明融合标记方法表现最优。

实验结果

研究问题

• RQ1 一个统一的跨模态检索框架能否在不降低性能的前提下，有效处理场景文本感知与非场景文本感知两种场景？
• RQ2 如何选择性地将场景文本信息与视觉特征聚合，以避免在场景文本缺失时产生干扰？
• RQ3 在基于 Transformer 的架构中，视觉与场景文本特征的最佳融合机制是什么？
• RQ4 双重对比学习是否能提升在场景文本缺失或嘈杂时的视觉表征鲁棒性？
• RQ5 所提方法能否在保持高速推理速度的同时实现高精度，适用于大规模检索？

主要发现

• ViSTA 在 CTC-1K 基准上实现了 52.5% 的 Recall@1（图像到文本检索），在场景文本感知场景下比之前最先进方法至少提升 8.4%。
• 该模型在场景文本非感知场景下也保持了强劲性能，在 CTC-1K 上达到 47.0% 的 Recall@1，与或优于最先进方法。
• ViSTA 的推理速度至少比现有方法快三倍，得益于其双编码器设计和高效的融合机制。
• 消融实验确认，融合标记策略优于全局注意力、交叉注意力和晚期融合，在图像到文本检索中达到 52.5% R@1。
• 双重对比学习显著提升性能，完整损失设置下达到 52.5% R@1，而仅使用单一对比损失时仅为 46.6%。
• 增加融合层数量可提升性能，峰值出现在 4 层时达到 52.5% R@1，表明更深层次的融合有助于特征学习。