[论文解读] Unsupervised Part Mining for Fine-grained Image Classification

Jian Zhang, Runsheng Zhang+2 more|arXiv (Cornell University)|Feb 26, 2019

Advanced Neural Network Applications参考文献 43被引用 7

一句话总结

本文提出了一种无监督部件挖掘（UPM）方法，用于细粒度图像分类，该方法无需任何标注即可定位判别性部件，通过在预训练卷积神经网络（CNN）的特征图上进行模式挖掘实现。通过发现频繁共现模式并进行聚类，UPM 识别出关键部件，从而提升分类准确率，在 CUB-200-2011、Stanford Cars 和 FGVC-Aircraft 数据集上实现了最先进性能，分别达到 92.3% 和 90.0% 的 top-1 准确率，超越了需要图像级别或物体级别标注的方法。

ABSTRACT

Fine-grained image classification remains challenging due to the large intra-class variance and small inter-class variance. Since the subtle visual differences are only in local regions of discriminative parts among subcategories, part localization is a key issue for fine-grained image classification. Most existing approaches localize object or parts in an image with object or part annotations, which are expensive and labor-consuming. To tackle this issue, we propose a fully unsupervised part mining (UPM) approach to localize the discriminative parts without even image-level annotations, which largely improves the fine-grained classification performance. We first utilize pattern mining techniques to discover frequent patterns, i.e., co-occurrence highlighted regions, in the feature maps extracted from a pre-trained convolutional neural network (CNN) model. Inspired by the fact that these relevant meaningful patterns typically hold appearance and spatial consistency, we then cluster the mined regions to obtain the cluster centers and the discriminative parts surrounding the cluster centers are generated. Importantly, any annotations and sophisticated training procedures are not used in our proposed part localization approach. Finally, a multi-stream classification network is built for aggregating the original, object-level and part-level features simultaneously. Compared with other state-of-the-art approaches, our UPM approach achieves the competitive performance.

研究动机与目标

• 为解决细粒度图像分类中的挑战，该挑战源于细微的局部差异导致的类内差异高、类间差异低。
• 消除在部件定位中对昂贵的人工标注物体或部件边界框的需求，从而提升可扩展性。
• 开发一种完全无监督的方法，仅使用预训练的 CNN 特征和模式挖掘来定位判别性部件，无需任何图像级别标签。
• 通过多流网络将部件级特征与全局特征和物体级特征相结合，以提升分类性能。

提出的方法

• 从预训练 CNN（如 VGG-16 或 ResNet-50）的多个卷积层中提取深度特征，应用于数据集。
• 将特征图转换为适合模式挖掘的事务格式，将每个空间位置视为一组特征值的事务。
• 应用模式挖掘技术以发现频繁共现模式，这些模式对应于特征空间中视觉上有意义且空间一致的区域。
• 使用 k-means 对挖掘出的高频模式进行聚类，识别聚类中心，并提取这些中心周围的局部区域作为候选判别性部件。
• 将定位到的部件作为部件级特征，与原始图像和物体级特征在多流分类网络中进行融合。
• 端到端训练多流网络，联合优化来自原始、物体和部件三个层次的特征的分类性能。

实验结果

研究问题

• RQ1 是否可以在没有任何监督形式（包括图像级别标签）的情况下，有效定位细粒度图像中的判别性部件？
• RQ2 在 CNN 激活图上进行模式挖掘是否能可靠地识别出有意义的、判别性的局部区域，从而提升分类准确率？
• RQ3 与弱监督或完全监督的部件定位方法相比，无监督部件挖掘在分类性能和训练复杂度方面表现如何？
• RQ4 将部件级特征与全局和物体级特征结合，是否能在多个细粒度基准数据集上实现一致的性能提升？

主要发现

• UPM（ResNet-50）在 Stanford Cars 数据集上达到 92.3% 的 top-1 准确率，优于使用物体标注的 FCAN（91.3%），提升 1.0%。
• 在 FGVC-Aircraft 数据集上，UPM（ResNet-50）达到 90.0% 的准确率，优于使用物体标注的 MG-CNN（86.6%），提升 3.4%，且相对于无物体标注的 B-CNN 提升近 5.9% 的相对增益。
• 该方法在性能上与使用边界框或部件标注的最先进模型相当，表明无监督部件挖掘可达到甚至超越有监督基线。
• 在 CUB-200-2011 数据集上，加入部件特征的多流网络相比仅使用原始和物体流特征的组合，性能相对提升 1.0%。
• UPM 在无需任何训练或标注的情况下取得优异结果，仅依赖预训练特征和模式挖掘，因此具有高度可扩展性，适用于实际应用场景。