[论文解读] Re-Identification with Consistent Attentive Siamese Networks

Meng Zheng, Srikrishna Karanam+2 more|arXiv (Cornell University)|Nov 19, 2018

Video Surveillance and Tracking Methods参考文献 45被引用 15

一句话总结

本文提出了一种新型的孪生学习架构——一致注意力孪生网络（CASN），该网络在行人重识别任务中联合优化注意力一致性与身份不变特征表示。通过仅使用身份标签进行监督，CASN可端到端训练出在不同视角下同一行人图像间保持一致的注意力图，从而实现鲁棒的跨视角匹配，并通过注意力可视化实现可解释的预测结果。

ABSTRACT

We propose a new deep architecture for person re-identification (re-id). While re-id has seen much recent progress, spatial localization and view-invariant representation learning for robust cross-view matching remain key, unsolved problems. We address these questions by means of a new attention-driven Siamese learning architecture, called the Consistent Attentive Siamese Network. Our key innovations compared to existing, competing methods include (a) a flexible framework design that produces attention with only identity labels as supervision, (b) explicit mechanisms to enforce attention consistency among images of the same person, and (c) a new Siamese framework that integrates attention and attention consistency, producing principled supervisory signals as well as the first mechanism that can explain the reasoning behind the Siamese framework's predictions. We conduct extensive evaluations on the CUHK03-NP, DukeMTMC-ReID, and Market-1501 datasets and report competitive performance.

研究动机与目标

• 解决在大视角变化、光照变化和遮挡情况下的鲁棒跨视角行人重识别挑战。
• 克服现有孪生模型中同一行人图像间缺乏显式注意力一致性的缺陷。
• 仅使用身份级别监督，实现端到端可训练的空间定位，无需额外标注。
• 通过可视化一致注意力图，提供模型预测的可解释性推理。
• 构建统一框架，联合学习一致注意力与不变表示，以提升匹配性能。

提出的方法

• 设计一个双分支孪生网络架构，共享权重，处理同一行人的配对图像。
• 引入基于类别特定梯度反向传播的可微分注意力机制，从身份标签生成空间注意力图。
• 通过孪生注意力损失强制配对图像间的注意力一致性，最小化同一身份图像对注意力图之间的L2距离。
• 在端到端训练过程中将注意力一致性作为原则性监督信号，提升特征鲁棒性。
• 将注意力机制与孪生对比损失结合，联合优化注意力一致性和特征相似性。
• 利用注意力图作为模型可解释性的工具，解释网络为何匹配或拒绝特定图像对。

实验结果

研究问题

• RQ1 能否仅使用身份级别监督，无需额外标注，实现端到端的注意力图学习？
• RQ2 在不同视角下对同一行人图像强制实施注意力一致性，是否能提升跨视角重识别性能？
• RQ3 一致的注意力图能否作为行人重识别中模型预测的可靠解释？
• RQ4 将注意力一致性整合进孪生框架，对特征表示质量和匹配准确率有何影响？
• RQ5 所提出的框架能否在姿态、视角和光照条件多样的不同数据集上实现良好泛化？

主要发现

• 在CUHK03-NP数据集上，CASN（PCB主干网络）达到71.5%的rank-1准确率和64.4%的mAP，分别优于基线PCB 10.2%和10.2%。
• 在DukeMTMC-ReID数据集上，CASN（PCB）达到87.7%的rank-1和73.7%的mAP，分别优于基线PCB 6.0%和7.6%。
• 在Market-1501数据集上，CASN（PCB）达到94.4%的rank-1和82.8%的mAP，分别优于基线PCB 2.0%和5.5%。
• 消融实验表明，同时加入识别注意力（IA）和孪生注意力（SA）模块可获得最高性能提升，证实了两者的互补作用。
• 可视化结果表明，孪生注意力损失显著提升了同一行人图像对间注意力的一致性，尤其在外观相似但姿态不同的困难样本中表现突出。
• 注意力图成功解释了预测失败的原因：例如，错误的rank-1匹配是由于对相似衣物（如连衣裙）的注意力一致，而真实匹配的注意力不一致，导致得分较低。