[论文解读] Parameter-Free Spatial Attention Network for Person Re-Identification

Haoran Wang, Yue Fan+3 more|arXiv (Cornell University)|Nov 29, 2018

Video Surveillance and Tracking Methods参考文献 21被引用 78

一句话总结

本文提出一个参数无关的空间注意力层，添加在 GAP 之前以建模空间关系，提升基于 GAP 的 Re-ID 模型，并在四个基准数据集上取得了最先进的结果。

ABSTRACT

Global average pooling (GAP) allows to localize discriminative information for recognition [40]. While GAP helps the convolution neural network to attend to the most discriminative features of an object, it may suffer if that information is missing e.g. due to camera viewpoint changes. To circumvent this issue, we argue that it is advantageous to attend to the global configuration of the object by modeling spatial relations among high-level features. We propose a novel architecture for Person Re-Identification, based on a novel parameter-free spatial attention layer introducing spatial relations among the feature map activations back to the model. Our spatial attention layer consistently improves the performance over the model without it. Results on four benchmarks demonstrate a superiority of our model over the state-of-the-art achieving rank-1 accuracy of 94.7% on Market-1501, 89.0% on DukeMTMC-ReID, 74.9% on CUHK03-labeled and 69.7% on CUHK03-detected.

研究动机与目标

• 解决 Global Average Pooling (GAP) 在捕捉细粒度人再识别中的空间关系方面的局限。
• 提出一个参数无关的空间注意力层，根据跨通道的激活重新加权空间位置。
• 将空间注意力层集成到基于 GAP 的分类器中，结合深度监督和基于部件的特征。
• 证明所提出的方法可以产生鲁棒且分布式的注意力，提升跨视角的 Re-ID 性能。

提出的方法

• 引入一个参数无关的空间注意力层，在每个位置对跨通道的激活求和，对空间位置执行 softmax，并据此重新加权特征图。
• 在 GAP 之前插入空间注意力层；该层与每个空间位置的总强度成正比且不引入可训练参数。
• 通过将 ResNet-50 骨干网络、深度监督分支和 PCB 风格的部件分类器组合，形成整体架构，并在辅助分支中应用空间注意力层。
• 使用复合损失 L_total = (1-λ) 辅助损失之和 + λ 深度监督损失之和 + λ 全局损失，结合六个部位级特征和全局特征进行训练。

实验结果

研究问题

• RQ1 一个参数无关的空间注意力机制是否能在视角变化和遮挡下提高基于 GAP 的特征在行人再识别中的鲁棒性？
• RQ2 将注意力分布到不同空间位置如何影响 Re-ID 模型的类别激活图和梯度流？
• RQ3 将空间注意力与深度监督以及基于部位的特征相结合，是否在标准 Re-ID 基准上达到最先进的性能？

主要发现

• 在所有实验中，空间注意力层始终比不带注意力的 GAP 提升性能。
• 在 Market-1501 上，该方法在所述表格中达到 94.7% R-1 和 91.7% mAP。
• 在 DukeMTMC-ReID 上，达到 89.0% R-1 和 85.9% mAP。
• 在 CUHK03（标注）上，达到 74.9% R-1 和 76.5% mAP。
• 在 CUHK03（检测）上，达到 69.7% R-1 和 72.2% mAP。
• 定性 CAM 可视化显示更分布式的注意力以及对部分遮挡的鲁棒性；消融实验证实来自 SA（SA1/SA2）和架构选项的增益。