[论文解读] Towards Unified Text-based Person Retrieval: A Large-scale Multi-Attribute and Language Search Benchmark

Shuyu Yang, Yinan Zhou+4 more|arXiv (Cornell University)|Jun 5, 2023

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出 MALS，一个包含 151 万张图像-文本对和每张图像 27 个属性的大规模合成基准，通过扩散模型和字幕生成流程生成。提出 APTM 框架，通过属性提示学习和对比学习，联合预训练属性识别与基于文本的检索任务，在 CUHK-PEDES、ICFG-PEDES 和 RSTPReid 上分别实现 +6.96%、+7.68% 和 +16.95% 的 Recall@1 性能提升，达到当前最优水平。

ABSTRACT

In this paper, we introduce a large Multi-Attribute and Language Search dataset for text-based person retrieval, called MALS, and explore the feasibility of performing pre-training on both attribute recognition and image-text matching tasks in one stone. In particular, MALS contains 1,510,330 image-text pairs, which is about 37.5 times larger than prevailing CUHK-PEDES, and all images are annotated with 27 attributes. Considering the privacy concerns and annotation costs, we leverage the off-the-shelf diffusion models to generate the dataset. To verify the feasibility of learning from the generated data, we develop a new joint Attribute Prompt Learning and Text Matching Learning (APTM) framework, considering the shared knowledge between attribute and text. As the name implies, APTM contains an attribute prompt learning stream and a text matching learning stream. (1) The attribute prompt learning leverages the attribute prompts for image-attribute alignment, which enhances the text matching learning. (2) The text matching learning facilitates the representation learning on fine-grained details, and in turn, boosts the attribute prompt learning. Extensive experiments validate the effectiveness of the pre-training on MALS, achieving state-of-the-art retrieval performance via APTM on three challenging real-world benchmarks. In particular, APTM achieves a consistent improvement of +6.96%, +7.68%, and +16.95% Recall@1 accuracy on CUHK-PEDES, ICFG-PEDES, and RSTPReid datasets by a clear margin, respectively.

研究动机与目标

• 通过生成大规模、高质量的合成数据集，解决基于文本的行人检索中数据稀缺和标注质量差的问题。
• 通过共享表征，实现在基于文本检索和行人属性识别任务上的统一预训练。
• 开发一个可扩展、保护隐私的基准，支持真实世界部署，并具备细粒度的视觉和语言标注。
• 验证属性提示学习与文本匹配联合学习对提升检索性能的有效性。

提出的方法

• 利用预训练的扩散模型生成高保真、多样化的行人图像，控制姿态、外观和背景的变化。
• 使用真实世界中的基于文本的行人检索描述作为提示，引导图像生成，确保与真实查询的语义对齐。
• 应用自动属性提取流水线，从生成的字幕中挖掘 27 个属性，增强标注多样性。
• 提出 APTM 框架，包含两条并行分支：属性提示学习和文本匹配学习，通过对比学习和掩码建模联合优化。
• 集成显式匹配（EM）和隐式扩展（IE）机制，将文本映射到属性提示，提升对齐效果。
• 采用图像-文本对比学习（ITC）、图像-属性对比学习（IAC）以及掩码建模（MLM/MAM）正则化表征学习。

实验结果

研究问题

• RQ1 通过扩散模型生成的合成数据是否具备足够的真实感和对齐性，以支持基于文本的行人检索的有效预训练？
• RQ2 在属性识别和基于文本的检索任务上进行联合预训练，是否能提升下游基准的泛化能力和性能？
• RQ3 合成数据规模如何影响零样本和微调设置下的检索性能？
• RQ4 属性提示学习与标准文本匹配在提升检索准确率方面的相对贡献如何？

主要发现

• 在 MALS 上预训练后，CUHK-PEDES 的 Recall@1 提升 +6.96%，ICFG-PEDES 提升 +7.68%，RSTPReid 提升 +16.95%，表明具有强大的泛化能力。
• APTM 框架在 RethinkPAR 基准上的平均准确率（mA）相比基线提升 0.97%。
• 性能随预训练数据规模增加而提升，但在样本量超过 30 万后增益趋于饱和，表明存在饱和点。
• 消融实验表明，所提出的属性提示学习（APL）损失明显优于朴素分类基线。
• 文本匹配与属性提示学习的联合优化，相比单独训练任一任务，能获得更优的特征表示。
• 模型在行人属性识别任务上也表现出具有竞争力的性能，验证了统一学习的有效性。