[论文解读] The Application of Two-level Attention Models in Deep Convolutional Neural Network for Fine-grained Image Classification

Tianjun Xiao, Yichong Xu+4 more|arXiv (Cornell University)|Nov 24, 2014

Advanced Neural Network Applications参考文献 14被引用 12

一句话总结

该论文提出了一种在深度卷积神经网络中用于细粒度图像分类的两级注意力机制，仅使用图像级别标签即可隐式学习到对象级别和部件级别的注意力。通过训练一个FilterNet来选择与领域相关的补丁，并从特征图中识别出检测部件的滤波器，该方法在CUB200-2011数据集上实现了最弱监督设置下的最先进准确率（69.7%），优于需要边界框或部件标注的方法。

ABSTRACT

Fine-grained classification is challenging because categories can only be discriminated by subtle and local differences. Variances in the pose, scale or rotation usually make the problem more difficult. Most fine-grained classification systems follow the pipeline of finding foreground object or object parts (where) to extract discriminative features (what). In this paper, we propose to apply visual attention to fine-grained classification task using deep neural network. Our pipeline integrates three types of attention: the bottom-up attention that propose candidate patches, the object-level top-down attention that selects relevant patches to a certain object, and the part-level top-down attention that localizes discriminative parts. We combine these attentions to train domain-specific deep nets, then use it to improve both the what and where aspects. Importantly, we avoid using expensive annotations like bounding box or part information from end-to-end. The weak supervision constraint makes our work easier to generalize. We have verified the effectiveness of the method on the subsets of ILSVRC2012 dataset and CUB200_2011 dataset. Our pipeline delivered significant improvements and achieved the best accuracy under the weakest supervision condition. The performance is competitive against other methods that rely on additional annotations.

研究动机与目标

• 为解决细粒度图像分类中的挑战，即判别性特征集中于微小、细微的局部区域，且姿态和尺度变化增加了识别难度。
• 开发一种深度学习流程，提升‘何处’（相关区域的定位）和‘什么’（判别性特征提取）两个方面，且不依赖强标注。
• 通过利用卷积神经网络内部表征构建注意力机制，在仅使用图像级别标签的最弱监督设置下实现高性能。
• 实现在训练和推理过程中均无需边界框或部件关键点的端到端训练。

提出的方法

• 一种自下而上的区域提议方法生成数千个候选图像补丁，这些补丁由仅使用图像级别标签训练的领域特定FilterNet进行过滤。
• FilterNet通过选择与基本类别（如‘鸟’或‘狗’）相关的补丁，实现对象级别的自顶向下注意力，增强了对尺度和姿态变化的鲁棒性。
• 通过识别卷积神经网络隐藏层中对判别性局部模式表现出高敏感性的滤波器，实现部件级别的注意力，从而在无需部件标注的情况下有效定位关键部件。
• 将FilterNet驱动的补丁的多视角预测与基于部件的分类器输出进行晚期融合，以结合两级注意力的优势。
• 整个流程通过仅使用图像级别监督实现端到端训练，避免了昂贵的边界框或部件关键点标注。
• 该方法利用隐藏层中的特征聚类来检测部件检测滤波器，从而实现弱监督下的部件定位。

实验结果

研究问题

• RQ1 两级注意力机制（对象级别和部件级别）是否能在不依赖边界框或部件标注的情况下提升细粒度分类准确率？
• RQ2 仅使用图像级别标签的弱监督在学习有意义的注意力机制用于细粒度识别方面有多有效？
• RQ3 能否利用卷积神经网络内部的特征表示来隐式检测判别性部件，而无需显式部件监督？
• RQ4 与单流模型相比，FilterNet和基于部件的分类器的多视角预测的晚期融合如何提升性能？

主要发现

• 在CUB200-2011数据集上，该方法达到了69.7%的top-1准确率，与使用更强监督的方法相比具有竞争力，且在最弱监督设置下表现最佳。
• 在ILSVRC2012的鸟类和狗子集上，该方法在弱监督下的准确率分别从21.1%和40.1%提升至11.0%和28.1%。
• 使用VGGNet时，该方法在CUB200-2011数据集上接近达到78%的准确率，表明其在更深架构下的可扩展性。
• 在内部卷积神经网络表征中观察到的聚类模式，能够可靠地识别出对判别性部件敏感的滤波器，支持弱监督下的部件检测。
• 两级注意力机制相互补充：对象级别注意力提供多尺度、多视角的补丁，而部件级别注意力增强了定位能力和姿态不变性。