[论文解读] Sharp Attention Network via Adaptive Sampling for Person Re-identification

Chen Shen, Guo-Jun Qi+5 more|arXiv (Cornell University)|May 7, 2018

Video Surveillance and Tracking Methods被引用 3

一句话总结

该论文提出一种基于自适应采样的锐化注意力网络，用于行人重识别（re-ID），通过可微分的Gumbel-Softmax采样替代软门控机制，生成更具确定性、离散的注意力掩码。该方法在CUHK03、Market-1501和DukeMTMC-reID数据集上均达到最先进性能，在CUHK03标注数据集上达到88.3%的rank-1准确率，在检测数据集上达到84.3%，优于先前的软注意力方法及最先进方法。

ABSTRACT

In this paper, we present novel sharp attention networks by adaptively sampling feature maps from convolutional neural networks (CNNs) for person re-identification (re-ID) problem. Due to the introduction of sampling-based attention models, the proposed approach can adaptively generate sharper attention-aware feature masks. This greatly differs from the gating-based attention mechanism that relies soft gating functions to select the relevant features for person re-ID. In contrast, the proposed sampling-based attention mechanism allows us to effectively trim irrelevant features by enforcing the resultant feature masks to focus on the most discriminative features. It can produce sharper attentions that are more assertive in localizing subtle features relevant to re-identifying people across cameras. For this purpose, a differentiable Gumbel-Softmax sampler is employed to approximate the Bernoulli sampling to train the sharp attention networks. Extensive experimental evaluations demonstrate the superiority of this new sharp attention model for person re-ID over the other state-of-the-art methods on three challenging benchmarks including CUHK03, Market-1501, and DukeMTMC-reID.

研究动机与目标

• 解决软注意力掩码在行人重识别中难以精确定位细微、判别性特征的模糊性问题。
• 通过生成更锐利、更具确定性的注意力掩码（即1表示关注，0表示不关注）来改善特征定位，降低不确定性。
• 通过可微分的Gumbel-Softmax采样实现锐化注意力机制的端到端训练，克服离散采样不可微的问题。
• 通过集成上下文感知的前端单元来引导注意力采样，提升在复杂重识别场景下的性能。
• 在多个基准测试中超越现有软门控注意力模型及最先进重识别方法。

提出的方法

• 该方法采用可微分的Gumbel-Softmax采样器近似伯努利采样，使梯度能够通过离散注意力掩码反向传播。
• 通过直接从卷积特征图中采样生成锐化注意力掩码，得到接近0或1的二值化掩码，从而最小化注意力模糊性。
• 引入跨特征交互学习机制，联合优化原始CNN特征与锐化注意力特征，以提升表征能力。
• 在注意力掩码生成器中增加上下文感知的前端单元，以在复杂视觉上下文中更好地引导采样，尤其在判别性线索依赖上下文时表现更优。
• 使用标准重识别损失函数进行端到端训练，Gumbel-Softmax松弛机制使梯度能够通过采样操作流动。
• 注意力掩码生成器被训练为聚焦于判别性区域（如独特的服装物品），以提升跨摄像头行人匹配性能。

实验结果

研究问题

• RQ1 基于采样的注意力机制是否能在行人重识别中生成比软门控机制更锐利、更具确定性的注意力掩码？
• RQ2 使用可微分的Gumbel-Softmax采样是否能有效实现深度CNN中离散注意力掩码的端到端训练？
• RQ3 锐化注意力掩码是否能通过更精准地定位跨摄像头的细微判别性特征，从而提升行人重识别准确率？
• RQ4 所提方法在Market-1501、CUHK03和DukeMTMC-reID等标准基准上的表现是否优于最先进重识别模型？
• RQ5 集成上下文感知的前端单元是否能提升锐化注意力在复杂或模糊视觉场景下的性能？

主要发现

• 在CUHK03标注数据集上，所提方法达到88.3%的rank-1准确率、98.8%的rank-5准确率和99.4%的rank-10准确率，mAP为85.9%，优于所有先前的最先进方法。
• 在CUHK03检测数据集上，方法达到84.3%的rank-1准确率和82.2%的mAP，在此具有挑战性的基准上创下新SOTA记录。
• 在Market-1501上，方法达到85.9%的rank-1准确率和70.1%的mAP，较第二名方法（PDC）在rank-1上领先1.5%，在mAP上领先6.7%。
• 在DukeMTMC-reID上，方法达到77.9%的rank-1准确率和58.8%的mAP，在该数据集上创下新的最先进水平。
• 消融实验证实，与软注意力基线相比，锐化注意力机制显著提升了性能，尤其在定位细微视觉线索（如独特的包或服装图案）方面表现突出。
• 集成上下文感知的前端单元进一步提升了性能，证明其在复杂场景中引导注意力的有效性。