[论文解读] Second-order Non-local Attention Networks for Person Re-identification

Bryan Bryan, Xia+3 more|arXiv (Cornell University)|Aug 31, 2019

Video Surveillance and Tracking Methods参考文献 48被引用 106

一句话总结

引入一个二阶非局部注意力（SONA）模块，用于建模行人重识别中的长程特征图相关性，并结合广义 DropBlock，在 Market1501、CUHK03 和 DukeMTMC-reID 上实现最先进的结果。

ABSTRACT

Recent efforts have shown promising results for person re-identification by designing part-based architectures to allow a neural network to learn discriminative representations from semantically coherent parts. Some efforts use soft attention to reallocate distant outliers to their most similar parts, while others adjust part granularity to incorporate more distant positions for learning the relationships. Others seek to generalize part-based methods by introducing a dropout mechanism on consecutive regions of the feature map to enhance distant region relationships. However, only few prior efforts model the distant or non-local positions of the feature map directly for the person re-ID task. In this paper, we propose a novel attention mechanism to directly model long-range relationships via second-order feature statistics. When combined with a generalized DropBlock module, our method performs equally to or better than state-of-the-art results for mainstream person re-identification datasets, including Market1501, CUHK03, and DukeMTMC-reID.

研究动机与目标

• 在不对 rigid part partitions 过度依赖的前提下，推动鲁棒的人重识别。
• 提出一种二阶非局部注意力机制，以捕捉特征图的长程相关性。
• 通过广义 DropBlock 强化正则化，促进学习远距离关系。
• 通过在骨干网络中引入膨胀卷积来提供更大的空间视野以供注意力使用。
• 在主要的重识别数据集上展示最先进的性能，并分析各组件的贡献。

提出的方法

• 提出一种受 BFE 启发的骨干-分支架构，包含全局分支和局部分支。
• 在 ResNet 的早期阶段之后插入 Second-order Non-local Attention (SONA) 模块，以捕获非局部相关性。
• 使用从降低维度的嵌入（theta 和 g）计算的基于协方差的注意力图来形成注意力。
• 应用具有可变块大小的 DropBlock+，以促进学习多样的空间关系。
• 对特定的 ResNet 阶段进行膨胀，以增大特征图并为注意力提供更广的空间上下文。
• 在各自分支上使用 batch hard triplet loss 和标签平滑交叉熵损失进行训练。

实验结果

研究问题

• RQ1 基于二阶统计的非局部注意力是否能够有效建模人重识别中的长程、跨部分关系？
• RQ2 将 DropBlock 泛化为可变尺寸的块并对骨干阶段进行膨胀，是否提升跨数据集的性能和鲁棒性？
• RQ3 在骨干网络中将 SONA 放置在何处才能在不损害效率的情况下实现最优增益？
• RQ4 在 Market1501、CUHK03 和 DukeMTMC-reID 上，SONA-Net 与最先进的基于部件的方法和非部件的方法相比如何？

主要发现

方法	mAP	Rank-1	Rank-5	Rank-10
SONA 2-Net μ	88.67	95.68	98.42	99.03
SONA 3-Net μ	88.63	95.53	98.48	99.15
SONA 2+3-Net μ	88.83	95.58	98.50	99.18

• SONA-Net 在 Market1501、CUHK03 和 DukeMTMC-reID 上的结果具有竞争力，且在多数情况下优于现有方法。
• 在消融实验中，加入 SONA 具有一致的提升；将其与 DropBlock+ 结合可获得最佳性能。
• 将 SONA 放在早期阶段之后是有效的；放在后期阶段之后会降低性能。
• 推理开销来自 SONA 是可以忽略的（有 SONA 时为 8.44 ms，未使用时为 7.89 ms）。
• 带有 SONA 变体的模型（2-Net、3-Net、2+3-Net）在各数据集上显示出强劲且稳定的改进。