[论文解读] Self Attention Grid for Person Re-Identification

Jean-Paul Ainam, Ke Qin+1 more|arXiv (Cornell University)|Sep 23, 2018

Video Surveillance and Tracking Methods参考文献 28被引用 3

一句话总结

本文提出了一种新型自注意力机制——自注意力网格（Self Attention Grid, SAG），用于行人重识别任务。该机制通过聚焦于高分辨率特征图中的多个判别性区域，增强特征学习能力。SAG采用双分支结构：一个分支处理高分辨率特征，另一个分支通过最大池化和Softmax操作学习一个过滤注意力网格。该方法在三个基准数据集上均提升了准确率，实现了当前最优性能，包括在DukeMTMC-ReID数据集上达到81.05%的mAP（采用残差重排序RR策略）。

ABSTRACT

In this paper, we present an attention mechanism scheme to improve person re-identification task. Inspired by biology, we propose Self Attention Grid (SAG) to discover the most informative parts from a high-resolution image using its internal representation. In particular, given an input image, the proposed model is fed with two copies of the same image and consists of two branches. The upper branch processes the high-resolution image and learns high dimensional feature representation while the lower branch processes the low-resolution image and learn a filtering attention grid. We apply a max filter operation to non-overlapping sub-regions on the high feature representation before element-wise multiplied with the output of the second branch. The feature maps of the second branch are subsequently weighted to reflect the importance of each patch of the grid using a softmax operation. Our attention module helps the network learn the most discriminative visual features of multiple image regions and is specifically optimized to attend feature representation at different levels. Extensive experiments on three large-scale datasets show that our self-attention mechanism significantly improves the baseline model and outperforms various state-of-art models by a large margin.

研究动机与目标

• 解决在光照变化、姿态变化及低分辨率条件下行人重识别准确率低的问题。
• 通过使网络能够同时聚焦于多个信息丰富的图像区域，而非单一区域，提升特征判别能力。
• 设计一种即插即用、完全可微分的注意力模块，兼容任意CNN架构。
• 通过双分支注意力机制，同时保留高层判别性特征与低层空间细节。
• 在大规模行人重识别基准上实现当前最优性能，且无需对网络架构进行大规模修改。

提出的方法

• 模型采用两个并行分支：一个处理高分辨率特征图，另一个从同一输入的低分辨率版本中学习注意力网格。
• 注意力网格通过在非重叠空间区域上进行最大池化，再经Softmax操作生成注意力权重。
• 随后将高分辨率特征与注意力网格进行逐元素相乘，以增强重要区域的响应并抑制背景噪声。
• 注意力机制在多个深度层级（D1至D4）上应用，实现多层级特征优化。
• 整个模块完全可微分，并通过标准优化方法进行端到端反向传播训练。
• 选择性地对高层残差块应用L2归一化，以稳定训练过程并提升特征质量。

实验结果

研究问题

• RQ1 一种聚焦于多个非重叠图像区域的自注意力机制，是否能提升行人重识别的准确率？
• RQ2 结合高分辨率特征与学习得到的注意力网格的双分支架构，是否能在不增加网络复杂度的前提下增强特征判别能力？
• RQ3 与现有注意力机制相比，所提出的SAG模块在性能和跨数据集泛化能力方面表现如何？
• RQ4 在CNN中，SAG模块的最佳部署位置与配置是什么，可实现最大性能提升？
• RQ5 SAG模块是否能与残差重排序等后处理技术有效结合，进一步提升识别准确率？

主要发现

• 在DukeMTMC-ReID数据集上，SAG达到79.94%的R1和60.88%的mAP，优于大多数当前最优方法，仅略逊于DCC方法（R1高0.36%）。
• 结合残差重排序（SAG+RR）后，模型在DukeMTMC-ReID上达到85.28%的R1和81.05%的mAP，显著超越基线模型及多数先前方法。
• 消融实验表明，SAG在深层网络中具有良好的泛化能力，性能增益在高层特征中最为显著。
• 注意力网格可视化显示，SAG能有效突出面部、背包、服装等判别性部位，同时抑制背景区域。
• 仅对前三个残差块应用L2归一化可提升准确率，但对第四个残差块应用则导致性能下降，表明不同层对归一化操作存在敏感性差异。
• SAG模块具有良好的模块化特性，可无缝集成至现有CNN架构中，无需修改网络结构，展现出强大的实用性。