[论文解读] Part-Stacked CNN for Fine-Grained Visual Categorization

Shaoli Huang, Zhe Xu+2 more|arXiv (Cornell University)|Dec 26, 2015

Advanced Neural Network Applications参考文献 32被引用 6

一句话总结

本文提出了一种新型的深度学习架构——部件堆叠卷积神经网络（PS-CNN），用于细粒度视觉分类。该方法通过全卷积网络显式建模物体部件以实现定位，并利用双流分类网络联合编码物体级与部件级特征。通过采用'共享-分割'策略在多个部件间共享计算，PS-CNN在CUB-200-2011数据集上实现了76%的准确率，推理速度达20帧/秒，兼具高效率与可解释性，能够生成基于判别性部件的人类可理解的分类手册。

ABSTRACT

In the context of fine-grained visual categorization, the ability to interpret models as human-understandable visual manuals is sometimes as important as achieving high classification accuracy. In this paper, we propose a novel Part-Stacked CNN architecture that explicitly explains the fine-grained recognition process by modeling subtle differences from object parts. Based on manually-labeled strong part annotations, the proposed architecture consists of a fully convolutional network to locate multiple object parts and a two-stream classification network that en- codes object-level and part-level cues simultaneously. By adopting a set of sharing strategies between the computation of multiple object parts, the proposed architecture is very efficient running at 20 frames/sec during inference. Experimental results on the CUB-200-2011 dataset reveal the effectiveness of the proposed architecture, from both the perspective of classification accuracy and model interpretability.

研究动机与目标

• 开发一种深度学习模型，不仅在细粒度视觉分类中实现高准确率，还能提供人类可理解的基于部件的分类指导。
• 通过引入一种高效的部件间共享计算策略，缓解细粒度识别中建模大量物体部件带来的计算负担。
• 在统一的双流CNN架构中整合部件级与物体级特征，以提升对高度相似类别的判别能力。
• 证明深度学习模型可以兼具准确性与可解释性，为细粒度分类提供类似视觉图鉴的解释。

提出的方法

• 使用全卷积网络（FCN）以端到端方式定位多个物体部件，替代传统的区域提议网络。
• 模型采用双流分类网络，分别处理边界框级特征与从检测关键点获得的部件级特征。
• 提出一种新颖的'共享-分割'策略，在多个部件间共享特征提取过程后，再分别处理各部件，从而降低计算成本。
• 将部件位置输入部件裁剪层，提取局部特征，随后通过浅层网络进行拼接与分类。
• 利用CUB-200-2011等数据集中的强部件标注，对模型进行显式监督，以学习部件级线索。
• 通过测量添加每个部件后分类性能的增益，实现模型解释，识别出各类别中最具判别性的部件。

实验结果

研究问题

• RQ1 能否设计一种深度学习模型，同时实现高分类准确率并提供人类可理解的细粒度视觉分类标准？
• RQ2 如何在不牺牲性能的前提下，最小化建模大量物体部件所带来的计算成本？
• RQ3 与仅使用物体级特征相比，部件级特征在多大程度上提升了分类准确率？
• RQ4 统一的CNN架构能否有效结合物体级与部件级表征，以实现细粒度识别？

主要发现

• PS-CNN在CUB-200-2011数据集上实现了76%的分类准确率，与Part R-CNN和Bilinear-CNN等最先进方法相当。
• 模型在Tesla K80上推理速度达20帧/秒，比Part R-CNN（每张图像需0.05秒）快逾100倍。
• 引入部件级监督显著提升了分类性能，最具判别性的部件通过性能增益分析得以识别。
• 模型能够生成可解释、人类可理解的视觉手册，基于部件标准解释分类决策，例如鸟类的喙部形态特征。
• 共享-分割策略在15个物体部件上实现了高效计算，仅带来极小的额外开销，证明了其在大规模部件数量下的可扩展性。