[论文解读] Neural Activation Constellations: Unsupervised Part Model Discovery with Convolutional Networks

Marcel Simon, Erik Rodner|arXiv (Cornell University)|Apr 30, 2015

Advanced Neural Network Applications参考文献 28被引用 83

一句话总结

本文提出了一种无监督方法，通过识别图像间神经激活模式的一致星象，来发现卷积神经网络中的部件模型，而无需部件标注或边界框。该方法在CUB200-2011和Caltech-256等细粒度数据集上达到最先进性能，并且在微调过程中作为数据增强手段时，也能提升分类准确率。

ABSTRACT

Part models of object categories are essential for challenging recognition tasks, where differences in categories are subtle and only reflected in appearances of small parts of the object. We present an approach that is able to learn part models in a completely unsupervised manner, without part annotations and even without given bounding boxes during learning. The key idea is to find constellations of neural activation patterns computed using convolutional neural networks. In our experiments, we outperform existing approaches for fine-grained recognition on the CUB200-2011, NA birds, Oxford PETS, and Oxford Flowers dataset in case no part or bounding box annotations are available and achieve state-of-the-art performance for the Stanford Dog dataset. We also show the benefits of neural constellation models as a data augmentation technique for fine-tuning. Furthermore, our paper unites the areas of generic and fine-grained classification, since our approach is suitable for both scenarios. The source code of our method is available online at http://www.inf-cv.uni-jena.de/part_discovery

研究动机与目标

• 以完全无监督的方式发现具有判别性的物体部件模型，无需部件标注或边界框。
• 通过利用基于CNN的部件检测器作为通用兴趣点检测器，统一细粒度与通用图像分类任务。
• 通过无监督星象建模中间CNN激活得到的基于部件的特征，提升分类性能。
• 展示这些部件模型作为微调深度网络时的数据增强策略的实用性。

提出的方法

• 使用预训练CNN的中间卷积层激活作为部件提议，将每个通道视为潜在的部件检测器。
• 通过分析训练图像间激活图的共现模式，估计空间部件星象，识别一致的相对空间排列。
• 通过选择在图像中以一致空间配置共同激活的部件检测器子集，学习一个生成式空间部件模型。
• 将学习到的部件模型应用于提取基于部件的特征，用于弱监督图像分类。
• 在微调过程中利用部件模型指导数据增强，提升泛化能力和判别性能。
• 在细粒度数据集（CUB200-2011、NA Birds、Oxford PETS、Oxford Flowers）和通用数据集（Caltech-256）上评估该方法，与监督和无监督基线进行比较。

实验结果

研究问题

• RQ1 能否仅使用预训练CNN特征，在完全无监督的情况下发现部件模型，而无需任何部件标注或边界框？
• RQ2 神经激活星象在细粒度识别任务中作为基于部件的图像分类基础，其有效性如何？
• RQ3 相同的无监督部件发现方法能否泛化到如Caltech-256这样的通用物体识别任务？
• RQ4 在微调过程中使用学习到的部件模型进行数据增强，是否相比使用真实边界框能提升分类准确率？
• RQ5 基于CNN的部件检测器能否作为细粒度和通用分类任务中的有效通用兴趣点检测器？

主要发现

• 所提出的无监督部件模型发现方法在CUB200-2011数据集上达到81.0%的准确率，且无需任何部件或边界框标注，超越了先前最先进结果。
• 在Caltech-256数据集上，使用VGG19特征时，该方法将基线准确率提升1.6%（达到84.10%），优于全局特征基线。
• 该方法在Stanford Dogs数据集上无需部件标注即达到最先进性能，证明了其强大的泛化能力。
• 在微调过程中使用部件模型进行数据增强，所得到的CNN比使用真实边界框更具判别性，表明特征学习得到改善。
• 该方法成功统一了细粒度与通用分类，因其在CUB200-2011和Caltech-256上均表现优异，且无需架构或训练方式的修改。
• 即使随机选择部件检测器，分类准确率也优于全局特征，表明该方法的核心机制具有鲁棒性和有效性。