[论文解读] ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language

Zhe Wang, Zhiyuan Fang+2 more|arXiv (Cornell University)|May 15, 2020

Video Surveillance and Tracking Methods参考文献 62被引用 21

一句话总结

ViTAA 提出了一种用于自然语言行人检索的视觉-文本属性对齐框架，通过分割监督和对比学习实现属性感知的特征学习，将特定视觉区域与对应文本短语对齐。该方法在 CUHK-PEDES 数据集上达到最先进性能，上身黑色衣物检索的 R@1 达到 99.2%，展现出卓越的细粒度跨模态对齐能力。

ABSTRACT

Person search by natural language aims at retrieving a specific person in a large-scale image pool that matches the given textual descriptions. While most of the current methods treat the task as a holistic visual and textual feature matching one, we approach it from an attribute-aligning perspective that allows grounding specific attribute phrases to the corresponding visual regions. We achieve success as well as the performance boosting by a robust feature learning that the referred identity can be accurately bundled by multiple attribute visual cues. To be concrete, our Visual-Textual Attribute Alignment model (dubbed as ViTAA) learns to disentangle the feature space of a person into subspaces corresponding to attributes using a light auxiliary attribute segmentation computing branch. It then aligns these visual features with the textual attributes parsed from the sentences by using a novel contrastive learning loss. Upon that, we validate our ViTAA framework through extensive experiments on tasks of person search by natural language and by attribute-phrase queries, on which our system achieves state-of-the-art performances. Code will be publicly available upon publication.

研究动机与目标

• 为解决行人检索中整体匹配方法的局限性，即模型难以区分细微属性差异（如‘白色衬衫’与‘黑色衬衫’）的问题。
• 实现视觉属性（如衣物颜色）与其对应文本短语在自然语言查询中的细粒度对齐。
• 通过解耦属性特征，提升在遮挡、视角变化和复杂背景等挑战性条件下的行人检索鲁棒性。
• 通过引入代理正样本采样策略，缓解度量学习中的收敛问题，从而挖掘具有信息量且身份多样的正样本对。

提出的方法

• 设计一个多分支网络，配备轻量级辅助分割头，利用实例级分割标注指导，学习每个属性的解耦视觉特征。
• 应用通用自然语言解析器从查询中提取属性短语，降低句法复杂度，分离出具有判别性的线索。
• 采用对比学习损失函数，将特定属性的视觉特征与对应文本短语在共享嵌入空间中对齐。
• 提出基于 K-互惠的代理正样本采样方法，跨不同身份挖掘多样化、有信息量的正样本对，以丰富训练并稳定收敛。
• 构建联合嵌入空间，使视觉与文本属性在属性级别实现对齐，支持超越全局图像-文本相似度的细粒度匹配。
• 在局部分支中利用蒸馏的行人分割知识，提升特征特异性与跨模态对齐的准确性。

实验结果

研究问题

• RQ1 视觉与文本特征之间的属性级别对齐是否能提升复杂查询下细微属性差异的行人检索性能？
• RQ2 通过分割监督学习解耦属性特征，能否增强行人检索中跨模态匹配的鲁棒性？
• RQ3 代理正样本采样在视觉-文本对齐的度量学习中，能在多大程度上提升训练稳定性和性能？
• RQ4 在自然语言查询上训练的模型，是否能在无需微调的情况下泛化到零样本属性检索任务？
• RQ5 与整体匹配方法相比，属性特定对齐是否能带来更具可解释性和可靠性的检索结果？

主要发现

• ViTAA 在 CUHK-PEDES 基准上达到最先进性能，显著优于先前方法在自然语言行人检索中的表现。
• 在属性检索任务中，ViTAA 在 Market-1501 数据集上对 'upblack' 属性实现 99.2% 的 R@1，表明视觉与文本属性之间具有强大的对齐能力。
• 在 DukeMTMC 数据集中，ViTAA 对 'upwhite' 和 'upred' 属性实现 100.0% 的 R@1，证明其在细粒度属性匹配中具备极高精度。
• 代理正样本采样策略中，最优 K 值为 8，因更高值会引入虚假正样本，导致性能下降。
• 定性结果表明，即使在失败案例中，模型仍能正确捕捉检索图像中的查询属性，体现其属性定位的鲁棒性。
• 消融实验验证，分割监督与对比学习的引入显著提升性能，证实了模型设计选择的有效性。