[论文解读] Visual Concept Recognition and Localization via Iterative Introspection

Amir Rosenfeld|arXiv (Cornell University)|Mar 14, 2016

Domain Adaptation and Few-Shot Learning参考文献 26被引用 5

一句话总结

本文提出了一种迭代内省框架，仅使用图像级别标签即可增强视觉概念识别与定位。通过利用类激活图（CAM）迭代聚焦于判别性图像区域，并在连续的分类阶段中优化预测，该方法在Stanford-40 Actions数据集上取得了81.74%的最先进性能，优于以往的弱监督方法。

ABSTRACT

Convolutional neural networks have been shown to develop internal representations, which correspond closely to semantically meaningful objects and parts, although trained solely on class labels. Class Activation Mapping (CAM) is a recent method that makes it possible to easily highlight the image regions contributing to a network's classification decision. We build upon these two developments to enable a network to re-examine informative image regions, which we term introspection. We propose a weakly-supervised iterative scheme, which shifts its center of attention to increasingly discriminative regions as it progresses, by alternating stages of classification and introspection. We evaluate our method and show its effectiveness over a range of several datasets, where we obtain competitive or state-of-the-art results: on Stanford-40 Actions, we set a new state-of the art of 81.74%. On FGVC-Aircraft and the Stanford Dogs dataset, we show consistent improvements over baselines, some of which include significantly more supervision.

研究动机与目标

• 通过使卷积神经网络能够迭代重新审视判别性图像区域，提升弱监督视觉识别性能。
• 解决在无需边界框或部件标注的情况下进行细粒度且定位精确的视觉识别挑战。
• 开发一种自我改进的分类机制，通过连续的内省阶段优化注意力与预测结果。
• 证明即使预测错误，也能引导有用的区域高亮，从而实现迭代优化。

提出的方法

• 该方法使用类激活映射（CAM）识别对网络分类决策有贡献的图像区域，即使预测结果错误亦可实现。
• 通过选择得分最高的CAM区域、裁剪子窗口，并使用每个阶段独立的分类器重新分类，实现迭代内省。
• 每个内省阶段使用基于当前子窗口特征训练的独立分类器，随时间推移逐步提升定位与分类准确率。
• 该过程在分类与内省之间交替进行，逐步聚焦于更小、更具判别性的区域。
• 将VGG-16（fc6与GAP）的特征表示进行拼接，以增强判别能力，且在首次迭代前对网络进行微调以提升性能。
• 采用固定比例（√2）的束搜索策略控制子窗口的尺度，平衡深度缩放与特征保留。

实验结果

研究问题

• RQ1 能否利用CNN内部的注意力机制，通过内省迭代优化其自身预测？
• RQ2 能否通过反复聚焦于CAM高亮区域，仅使用图像级别标签来改进弱监督定位？
• RQ3 通过子窗口分类实现的迭代优化是否能在细粒度与定位精确的视觉识别任务中带来一致的性能提升？
• RQ4 融合多种特征表示（如GAP与fc6）对内省框架性能有何影响？

主要发现

• 该方法在Stanford-40 Actions数据集上实现了81.74%的新最先进准确率，超越了此前最佳结果81.0%。
• 在FGVC-Aircraft与Stanford Dogs数据集上，该方法在强基线模型即使使用显著更多监督信息的情况下，仍表现出一致的性能提升。
• 性能在四次迭代后趋于饱和并略有下降，表明过度聚焦于小图像区域会导致收益递减。
• 在每个阶段采用贪心策略选择得分最高的CAM窗口，优于使用多个候选的束搜索策略。
• 在首次迭代前对VGG-GAP网络进行微调，提升了Stanford-40与CUB-200-2011数据集的性能，但并非在所有数据集上均有效。
• 在CUB-200-2011数据集上，通过完全微调实现了79.95%的准确率，证明了该方法在无需部件或边界框标注情况下的竞争力。