[论文解读] Where to Focus: Deep Attention-based Spatially Recurrent Bilinear Networks for Fine-Grained Visual Recognition

Lin Wu, Yang Wang|arXiv (Cornell University)|Sep 18, 2017

Video Surveillance and Tracking Methods参考文献 28被引用 6

一句话总结

本文提出了一种基于深度注意力的空间循环双线性网络，通过端到端训练联合检测判别性物体部件并提取特征。通过将软注意力机制与空间LSTM及双线性池化相结合，模型能够动态聚焦于关键区域，在细粒度图像分类和行人重识别基准上实现了最先进性能。

ABSTRACT

Fine-grained visual recognition typically depends on modeling subtle difference from object parts. However, these parts often exhibit dramatic visual variations such as occlusions, viewpoints, and spatial transformations, making it hard to detect. In this paper, we present a novel attention-based model to automatically, selectively and accurately focus on critical object regions with higher importance against appearance variations. Given an image, two different Convolutional Neural Networks (CNNs) are constructed, where the outputs of two CNNs are correlated through bilinear pooling to simultaneously focus on discriminative regions and extract relevant features. To capture spatial distributions among the local regions with visual attention, soft attention based spatial Long-Short Term Memory units (LSTMs) are incorporated to realize spatially recurrent yet visually selective over local input patterns. All the above intuitions equip our network with the following novel model: two-stream CNN layers, bilinear pooling layer, spatial recurrent layer with location attention are jointly trained via an end-to-end fashion to serve as the part detector and feature extractor, whereby relevant features are localized and extracted attentively. We show the significance of our network against two well-known visual recognition tasks: fine-grained image classification and person re-identification.

研究动机与目标

• 解决细粒度视觉识别中的挑战，即物体类别之间的细微差异因遮挡、视角变化和光照等因素而被掩盖。
• 克服标准双线性池化方法的局限性，后者会丢弃特征之间的空间关系，且无法建模空间上下文。
• 通过引入动态、空间感知的注意力机制，实现对显著物体部件的选择性聚焦，从而改善特征表示。
• 开发一种深度学习框架，端到端学习关注相关区域，模仿人类视觉注意力机制。
• 通过结合双线性特征池化与空间循环及注意力机制，提升细粒度识别任务的性能。

提出的方法

• 采用双流卷积神经网络（CNN）从同一张图像中提取特征，以实现双重视角，提升判别能力。
• 通过计算两个CNN流的特征图的外积来应用双线性池化，捕捉高阶特征交互。
• 集成空间长短期记忆（LSTM）单元以建模局部区域之间的空间依赖关系，实现对特征图的循环处理。
• 在空间LSTM中引入软注意力机制，根据特征区域的相关性动态加权，聚焦于判别性部件。
• 使用随机反向传播可视化注意力图，解释模型在推理过程中‘关注何处’和‘关注什么’。
• 端到端训练整个架构，联合优化部件检测、特征提取和注意力加权。

实验结果

研究问题

• RQ1 深度神经网络如何在细粒度视觉识别中实现对最判别性物体部件的动态且选择性地关注？
• RQ2 空间循环LSTM是否能改善双线性特征中的空间关系建模，从而实现更好的表征学习？
• RQ3 将软注意力机制与双线性池化结合，是否能提升细粒度分类和行人重识别任务的性能？
• RQ4 该模型的注意力机制在多大程度上与人类视觉直觉一致，即聚焦于关键物体部件？
• RQ5 所提出的方法是否能超越依赖固定空间划分或人工设计部件检测器的现有最先进模型？

主要发现

• 在Stanford Cars数据集上，该模型实现了93.4%的top-1准确率，优于先前方法如Krause等人（92.6%）和Gosselin等人（82.7%）。
• 在CUB-200-2011数据集上，该模型在细粒度图像分类任务中达到最先进性能，展现出优越的特征定位与判别能力。
• 在行人重识别任务中，该模型在VIPeR、CUHK03和Market-1501基准上均实现了高于多个最先进方法的rank-1准确率。
• 注意力图的可视化结果表明，模型学习到聚焦于语义上有意义的区域，如头部、翅膀和身体部位，与人类直觉一致。
• 该模型显著优于依赖人工部件划分的多区域双线性模型，证明了端到端学习注意力机制的优势。
• 空间循环与注意力机制的结合使模型对局部失真和空间变换具有更强鲁棒性，提升了在具有挑战性的视觉识别任务中的泛化能力。