[论文解读] SCMM: Calibrating Cross-modal Representations for Text-Based Person Search

Jing Liu, Donglai Wei+6 more|arXiv (Cornell University)|Apr 5, 2023

Video Surveillance and Tracking Methods被引用 6

一句话总结

该论文提出SCMM，一种用于文本驱动行人检索的简单而有效的双编码器框架，通过两种新颖损失函数校准跨模态特征：用于细粒度模态对齐的Sew校准损失，以及用于详细图像-文本对应关系的掩码标题建模（MCM）损失。该方法在CUHK-PEDES上达到73.81%的Rank-1准确率，ICFG-PEDES上达到74.25%，RSTPReID上达到57.35%，实现了无需复杂模块的高速推理，性能达到当前最先进水平。

ABSTRACT

Text-Based Person Search (TBPS) aims to retrieve target person images from a large-scale gallery using natural language descriptions, posing fundamental challenges in cross-modal representation learning. Existing methods often struggle to bridge the semantic gap between heterogeneous modalities while capturing fine-grained correspondences essential for discriminating visually similar individuals. To address these challenges, we propose Sew Calibration and Masked Modeling (SCMM), a unified framework that calibrates cross-modal representations through complementary learning mechanisms. Notably, SCMM introduces two novel components: a sew calibration loss that dynamically aligns image-text features using quality-guided adaptive margins based on textual information density, and a masked caption modeling loss that establishes fine-grained cross-modal correspondences through transformer-based masked prediction. Additionally, the sew calibration mechanism implements bidirectional constraints to effectively compress same-identity features in the shared embedding space, while the masked modeling component leverages a cross-modal decoder to learn word-level visual-textual relationships, enabling discrimination of subtle attribute differences. Our dual-encoder architecture achieves an effective balance between representation capability and computational efficiency by employing a training-only decoder design. Extensive experiments on CUHK-PEDES, ICFG-PEDES, and RSTPReID benchmarks demonstrate that SCMM achieves state-of-the-art performance with Rank1 accuracies of 73.81%, 64.25%, and 57.35%, respectively. Comprehensive ablation studies validate the effectiveness of each proposed component.

研究动机与目标

• 为解决文本驱动行人检索（TBPS）中跨模态表示学习的模态间差距问题。
• 提升细粒度图像-文本对应关系，以更好区分相似的行人目标。
• 开发一种低成本、高速推理的方法，无需多级分支或复杂交互模块。
• 通过标题质量与掩码标题预测提升特征校准，实现更丰富的跨模态理解。

提出的方法

• 该框架采用双编码器架构提取图像和文本特征，实现无需额外模块的快速推理。
• Sew校准损失通过利用标题质量对齐图像与文本特征，将正样本对拉近，负样本对推开。
• 引入一个跨模态解码器以计算掩码标题建模（MCM）损失，利用视觉特征预测标题中的掩码标记。
• MCM损失通过掩码预测任务建立视觉部件与文本成分之间的详细、细粒度对应关系。
• 推理阶段丢弃解码器，确保无额外计算开销。
• 最终检索仅使用双编码器的CLS标记进行相似度计算。

实验结果

研究问题

• RQ1 如何有效校准跨模态特征，以减少文本驱动行人检索中的模态间差距？
• RQ2 仅使用简单的双编码器架构，是否可在无需复杂交互模块或多级分支的情况下实现SOTA性能？
• RQ3 掩码标题预测在多大程度上可提升TBPS中的细粒度图像-文本对应关系？
• RQ4 文本标题的质量在多大程度上影响跨模态表示的对齐？
• RQ5 所提方法在不同TBPS基准上的泛化能力如何？

主要发现

• SCMM在CUHK-PEDES上达到73.81%的Rank-1准确率，超越以往SOTA方法。
• 在ICFG-PEDES上，该方法达到74.25%的Rank-1准确率，展现出在多样化数据集上的强大性能。
• 在RSTPReID上，模型达到57.35%的Rank-1准确率，表明其在不同域间的鲁棒性。
• MCM损失提升了泛化能力，在跨域评估中，ICFG-PEDES上Rank-1提升1.59%，RSTPReID上提升1.85%。
• 可视化结果表明，所提方法在标题级别和词级别均学习到更精细的注意力图，能够捕捉衣物和配饰等关键细节。
• 特征分布可视化证实，同一身份的图像-文本特征更紧凑且更易分离，显著减小了跨模态差距。