[论文解读] TIPCB: A Simple but Effective Part-based Convolutional Baseline for Text-based Person Search

Yuhao Chen, Guoqing Zhang+4 more|arXiv (Cornell University)|May 25, 2021

Video Surveillance and Tracking Methods被引用 7

一句话总结

TIPCB 提出了一种简单而有效的基于部件的端到端卷积基线模型，用于文本驱动的人体搜索，通过双路局部对齐机制提取自适应的视觉与文本局部特征，并采用多阶段跨模态匹配策略，减少低层、局部和全局特征层面的模态差异。该方法在 CUHK-PEDES 数据集上达到最先进性能，Top-1、Top-5 和 Top-10 准确率分别超越先前方法 3.69%、2.95% 和 2.31%。

ABSTRACT

Text-based person search is a sub-task in the field of image retrieval, which aims to retrieve target person images according to a given textual description. The significant feature gap between two modalities makes this task very challenging. Many existing methods attempt to utilize local alignment to address this problem in the fine-grained level. However, most relevant methods introduce additional models or complicated training and evaluation strategies, which are hard to use in realistic scenarios. In order to facilitate the practical application, we propose a simple but effective end-to-end learning framework for text-based person search named TIPCB (i.e., Text-Image Part-based Convolutional Baseline). Firstly, a novel dual-path local alignment network structure is proposed to extract visual and textual local representations, in which images are segmented horizontally and texts are aligned adaptively. Then, we propose a multi-stage cross-modal matching strategy, which eliminates the modality gap from three feature levels, including low level, local level and global level. Extensive experiments are conducted on the widely-used benchmark dataset (CUHK-PEDES) and verify that our method outperforms the state-of-the-art methods by 3.69%, 2.95% and 2.31% in terms of Top-1, Top-5 and Top-10. Our code has been released in https://github.com/OrangeYHChen/TIPCB.

研究动机与目标

• 解决文本驱动人体搜索中图像与文本之间存在的显著模态差异。
• 设计一种实用的、端到端可训练的框架，无需额外模型或复杂训练策略。
• 通过利用两种模态的局部、基于部件的表征，提升匹配性能。
• 通过多级匹配（低层、局部、全局）逐步减少跨模态特征方差。
• 通过简化架构和训练流程，促进实际部署。

提出的方法

• 设计了一种双路局部对齐网络：图像被划分为水平条带以生成视觉局部表征，而来自固定 BERT 模型的文本嵌入则通过多分支残差网络进行处理，以实现自适应的文本对齐。
• 每个文本分支均被训练以匹配对应的视觉部件，从而实现在局部层面的跨模态对齐。
• 采用多阶段跨模态匹配策略，通过逐步对齐低层、局部层和全局层表征，持续减少模态差异。
• 使用全局最大池化进行特征融合，以突出判别性特征并抑制噪声。
• 整个框架端到端训练，无需辅助任务或额外模型。
• t-SNE 可视化结果表明，跨模态特征分布随训练过程逐渐收敛，表明模态对齐效果良好。

实验结果

研究问题

• RQ1 一个简单、端到端可训练的网络能否在文本驱动人体搜索任务中超越复杂的多模型或多任务方法？
• RQ2 视觉部件与文本短语之间的自适应局部对齐在减少模态差异方面有多有效？
• RQ3 在低层、局部和全局特征层面进行多阶段匹配是否能提升检索准确率？
• RQ4 与平均池化或其组合相比，全局最大池化是否能提升特征判别能力？
• RQ5 该模型在具有部分描述或模糊描述的困难负样本上表现如何？

主要发现

• TIPCB 在 CUHK-PEDES 上实现了 63.63% 的 Top-1 准确率，比最先进方法高出 3.69 个百分点。
• 模型达到 82.81% 的 Top-5 准确率和 89.01% 的 Top-10 准确率，分别超越先前方法 2.95% 和 2.31%。
• 全局最大池化显著优于平均池化或其组合，表明其在过滤噪声和保留判别性特征方面的有效性。
• t-SNE 可视化显示，跨模态特征分布随训练过程收敛，同一身份的样本聚类在一起。
• 即使在部分描述或细微描述的困难情况下，模型仍能成功检索到正确匹配，例如 'black short'、'dark backpack' 和 'sitting on a bike'。
• 失败案例主要源于描述模糊或罕见（如 '70s looking' 或 'white stripes'），凸显细粒度语义理解的挑战。