[论文解读] Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search

Jing Ge, Guangyu Gao+1 more|arXiv (Cornell University)|Dec 6, 2019

Multimodal Machine Learning Applications参考文献 32被引用 10

一句话总结

该论文提出了一种新颖的视觉-文本关联框架，用于行人检索，通过跨模态最难和半难负样本挖掘、注意力机制（S-GMP 和记忆增强双向LSTM），以及结合三元组损失与交叉熵的混合损失，实现了 CUHK-PEDES 数据集上 55.32% 的新 SOTA（最先进）top-1 准确率，显著提升了在具有挑战性的负样本上的特征对齐与判别性学习能力。

ABSTRACT

Searching persons in large-scale image databases with the query of natural language description is a more practical important applications in video surveillance. Intuitively, for person search, the core issue should be visual-textual association, which is still an extremely challenging task, due to the contradiction between the high abstraction of textual description and the intuitive expression of visual images. However, for this task, while positive image-text pairs are always well provided, most existing methods doesn't tackle this problem effectively by mining more reasonable negative pairs. In this paper, we proposed a novel visual-textual association approach with visual and textual attention, and cross-modality hardest and semi-hard negative pair mining. In order to evaluate the effectiveness and feasibility of the proposed approach, we conduct extensive experiments on typical person search datasdet: CUHK-PEDES, in which our approach achieves the top1 score of 55.32% as a new state-of-the-art. Besides, we also evaluate the semi-hard pair mining approach in COCO caption dataset, and validate the effectiveness and complementarity of the methods.

研究动机与目标

• 为解决行人检索中视觉-文本关联的挑战，其中文本描述具有高度抽象性而图像为整体性，导致特征匹配错位。
• 通过整合视觉与文本注意力机制，提升特征表示的一致性，实现更稳定的跨模态匹配。
• 通过在跨模态中挖掘最难与半难负样本对，增强模型的判别能力，尤其关注跨模态的难度。
• 设计一种训练策略，结合单模态上的三元组损失与跨模态难样本对上的交叉熵损失，以提升泛化能力。
• 通过广泛的消融实验与跨数据集评估，验证所提组件的有效性与互补性。

提出的方法

• 提出平滑全局最大池化（S-GMP），通过强调与文本描述对齐的显著区域，提取更聚焦的视觉特征。
• 采用基于LSTM单元状态的记忆增强注意力机制，强化文本特征中的跨模态对应关系。
• 提出双阶段负样本挖掘策略：首先在各模态内部识别最难与半难负样本对，然后聚焦于跨模态最难负样本对，以提升判别能力。
• 将单模态特征上的三元组损失与跨模态最难及半难样本对上的交叉熵损失相结合，联合优化特征嵌入与排序性能。
• 在训练过程中仅对正样本对应用 dropout，以防止模型从噪声负样本中学习到错误的对齐关系。

实验结果

研究问题

• RQ1 在高层文本抽象性与视觉复杂性背景下，视觉与文本注意力机制如何改善行人检索中的跨模态对齐？
• RQ2 挖掘最难与半难负样本对（尤其是跨模态对）对视觉-文本关联任务中模型性能的影响如何？
• RQ3 将单模态特征上的三元组损失与跨模态难样本对上的交叉熵损失相结合，如何影响特征判别性与泛化能力？
• RQ4 与标准池化和隐藏状态提取相比，S-GMP 与记忆增强双向LSTM注意力机制在特征表示上的提升程度如何？
• RQ5 所提方法是否具备跨数据集泛化能力？其在 COCO Caption 等其他基准上的表现如何？

主要发现

• 所提方法在使用 ResNet-50 的 CUHK-PEDES 数据集上实现了 55.32% 的新 SOTA top-1 准确率，显著优于先前方法。
• 消融实验证实，S-GMP 持续提升视觉特征提取性能，达到 55.32% top-1 准确率，优于平均池化与最大池化。
• 记忆增强双向LSTM注意力机制取得最高性能（55.32% top-1），优于最终隐藏状态与基于池化的文本特征提取方法。
• 结合三元组损失与半难及最难负样本挖掘带来增量提升：仅使用半难样本为 50.7%，三元组 + 半难样本为 53.01%，完整方法为 55.32%。
• 消融实验表明，仅对正样本对应用 dropout 可防止负样本对学习性能下降，完整方法达到 55.32% top-1 准确率。
• 各模块间表现出强互补性，各组件协同作用，以协同方式共同提升性能。