[论文解读] RaSa: Relation and Sensitivity Aware Representation Learning for Text-based Person Search

Yang Bai, Min Cao+6 more|arXiv (Cornell University)|May 23, 2023

Multimodal Machine Learning Applications参考文献 55被引用 6

一句话总结

RaSa 提出了一种用于基于文本的人体检索的新型表示学习框架，通过引入关系感知（RA）和敏感性感知（SA）学习，提升了多模态表示的质量。通过区分强正样本对与弱正样本对，并检测数据增强下的词语替换，RaSa 在 CUHK-PEDES、ICFG-PEDES 和 RSTPReid 上的 Rank@1 分别实现了 6.94%、4.45% 和 15.35% 的性能提升，达到当前最优水平。

ABSTRACT

Text-based person search aims to retrieve the specified person images given a textual description. The key to tackling such a challenging task is to learn powerful multi-modal representations. Towards this, we propose a Relation and Sensitivity aware representation learning method (RaSa), including two novel tasks: Relation-Aware learning (RA) and Sensitivity-Aware learning (SA). For one thing, existing methods cluster representations of all positive pairs without distinction and overlook the noise problem caused by the weak positive pairs where the text and the paired image have noise correspondences, thus leading to overfitting learning. RA offsets the overfitting risk by introducing a novel positive relation detection task (i.e., learning to distinguish strong and weak positive pairs). For another thing, learning invariant representation under data augmentation (i.e., being insensitive to some transformations) is a general practice for improving representation's robustness in existing methods. Beyond that, we encourage the representation to perceive the sensitive transformation by SA (i.e., learning to detect the replaced words), thus promoting the representation's robustness. Experiments demonstrate that RaSa outperforms existing state-of-the-art methods by 6.94%, 4.45% and 15.35% in terms of Rank@1 on CUHK-PEDES, ICFG-PEDES and RSTPReid datasets, respectively. Code is available at: https://github.com/Flame-Chasers/RaSa.

研究动机与目标

• 解决基于文本的人体检索中由噪声弱正样本对引起的过拟合问题。
• 通过使模型对有意义的数据变换保持敏感（而非仅保持不变），提升表示的鲁棒性。
• 通过新颖的自监督任务，增强文本与图像嵌入之间的跨模态对齐。
• 在标准的基于文本的人体检索基准上实现最先进性能。

提出的方法

• 引入关系感知（RA）学习，通过概率性图像-文本匹配（p-ITM）任务和正样本关系检测（PRD）任务，区分强正样本对与弱正样本对。
• 采用基于动量的生成器，为敏感性感知（SA）学习中的替换词检测（m-RTD）任务生成逼真的词语替换。
• 以对比学习（CL）为骨干网络，通过可学习损失权重的多任务优化，整合 RA 和 SA 任务。
• 应用掩码比率和输入概率，以在训练过程中平衡噪声与有用信息，优化模型的鲁棒性与泛化能力。
• 利用动量模型稳定替换词的生成过程，逐步提高检测任务的难度。
• 采用双分支架构，共享编码器与动量更新的键网络，实现带有动态增强的对比学习。

Figure 1: Illustration of (a) two types of positive relations for relation-aware learning, where the noise interference in the weak positive pairs is highlighted in red, (b) replaced token detection for sensitivity-aware learning, in which word replacement is used as the sensitive transformation and

实验结果

研究问题

• RQ1 如何减少基于文本的人体检索中由弱正样本对引起的过拟合？
• RQ2 学习检测敏感变换（如词语替换）是否能超越不变性，进一步提升表示鲁棒性？
• RQ3 在自监督学习用于人体检索时，使用动态的、基于动量的生成器进行数据增强有何影响？
• RQ4 不同替换词检测的训练策略如何影响最终的检索性能？
• RQ5 所提出方法在细粒度与粗粒度图像-文本检索基准上的泛化能力如何？

主要发现

• 与之前最先进方法相比，RaSa 在 CUHK-PEDES 数据集上的 Rank@1 实现了 6.94% 的绝对性能提升。
• 在 ICFG-PEDES 数据集上，RaSa 相比最强基线方法，Rank@1 提升了 4.45%。
• RSTPReid 数据集获得最大提升，Rank@1 提高 15.35%，表明在具有挑战性的细粒度人体检索任务中表现优异。
• 表现最佳的变体（m-RTD 使用动量生成器）达到 76.51% 的 Rank@1，优于在线生成器（75.99%）和固定生成器（75.13%）变体。
• 消融实验表明，RA 与 SA 任务的结合带来最大性能增益，其中 m-RTD 在替换词检测方面最为有效。
• 超参数分析显示，最优性能出现在 p^w = 0.1（弱正样本输入概率）、p^m = 0.3（掩码比率）以及 λ1 = λ2 = λ3 = 0.5（损失权重）时。

Figure 2: Model architecture of RaSa. It consists of an image encoder, a text encoder and a cross-modal encoder. An intra- and cross-modal CL task is attached after the unimodal encoders for unimodal representation learning. RA and SA tasks are tied after the cross-modal encoders for multi-modal rep