[论文解读] Relation-Aware Global Attention for Person Re-identification

Zhizheng Zhang, Cuiling Lan+3 more|arXiv (Cornell University)|Apr 5, 2019

Video Surveillance and Tracking Methods参考文献 67被引用 38

一句话总结

本文提出一种关系感知全局注意力（RGA）模块，为每个特征节点学习全局结构关系，以产生空间和通道注意力，在CUHK03、Market1501和MSMT17上达到最先进的再识别性能。

ABSTRACT

For person re-identification (re-id), attention mechanisms have become attractive as they aim at strengthening discriminative features and suppressing irrelevant ones, which matches well the key of re-id, i.e., discriminative feature learning. Previous approaches typically learn attention using local convolutions, ignoring the mining of knowledge from global structure patterns. Intuitively, the affinities among spatial positions/nodes in the feature map provide clustering-like information and are helpful for inferring semantics and thus attention, especially for person images where the feasible human poses are constrained. In this work, we propose an effective Relation-Aware Global Attention (RGA) module which captures the global structural information for better attention learning. Specifically, for each feature position, in order to compactly grasp the structural information of global scope and local appearance information, we propose to stack the relations, i.e., its pairwise correlations/affinities with all the feature positions (e.g., in raster scan order), and the feature itself together to learn the attention with a shallow convolutional model. Extensive ablation studies demonstrate that our RGA can significantly enhance the feature representation power and help achieve the state-of-the-art performance on several popular benchmarks. The source code is available at https://github.com/microsoft/Relation-Aware-Global-Attention-Networks.

研究动机与目标

• 激发对人再识别的注意力学习，以利用超越局部感受野的全局结构信息。
• 提出一个紧凑的机制，从每个特征节点的全局关系中挖掘语义。
• 开发空间（RGA-S）和通道（RGA-C）关系感知的全局注意力模块，并证明它们的有效性。
• 证明将 RGA-S 和 RGA-C 结合起来在关键的再识别基准上产生最先进的结果。

提出的方法

• 对特征节点之间的成对关系（亲和力）进行建模，并将它们堆叠成每个节点的全局关系向量。
• 对于空间 RGA（RGA-S）：通过嵌入的 1x1 卷积计算 r_i,j = f_s(x_i, x_j)，形成 r_i = [R_s(i,:), R_s(:,i)]，并与 x_i 结合通过一个两层卷积网络预测注意力 a_i。
• 对于通道 RGA（RGA-C）：将通道视为节点，使用嵌入特征以相同方式计算 r_i,j，形成 r_i，并按与空间相同的方式在通道维度推导通道注意力 a_i。
• 通过嵌入获取局部特征与全局关系向量进行融合，以使用一个带有 sigmoid 输出的两层卷积网络产生关系感知特征和注意力。
• 将 RGA 模块集成到 ResNet-50 主干（RetNet-50 变体）并在 CUHK03、Market1501 和 MSMT17 上进行评估。

实验结果

研究问题

• RQ1 能否利用全局结构和特征位置之间的成对关系来改善人再识别的注意力？
• RQ2 空间与通道关系感知的注意力是否相互补充，从而产生更具辨别力的特征？
• RQ3 在标准再识别基准上，RGA 与现有的注意力机制（局部注意力、非本地、CBAM）相比如何？
• RQ4 嵌入选择和模块在主干网络中的放置对性能有何影响？

主要发现

• RGA-S 与 RGA-C 均显著提升了 CUHK03 和 Market1501 的性能，相对于基线。
• 将空间注意力和通道注意力结合（RGA-SC）可获得最佳结果，在 CUHK03 的 mAP 上相对基线提升多达 8.4%，并在 Market1501 和 MSMT17 上获得显著提升。
• RGA-S 和 RGA-C 在 Rank-1 和 mAP 指标上均优于若干注意力基线（CBAM、FC-S/FC-C、SE、NL）。
• 关系建模的非对称嵌入相对于对称或无嵌入带来进一步收益。
• RGA-SC 在 CUHK03、Market1501 和 MSMT17 的公开方法中取得了最先进的结果，对第二名方法有显著提升。