[论文解读] Real Time Fine-Grained Categorization with Accuracy and Interpretability

Shaoli Huang, Dacheng Tao|arXiv (Cornell University)|Oct 4, 2016

Advanced Neural Network Applications参考文献 36被引用 3

一句话总结

本文提出了一种名为深度部件堆叠卷积神经网络（DPS-CNN）的实时、高精度且可解释的细粒度视觉分类系统，该系统通过双流卷积神经网络实现部件级与整体对象级特征融合，联合定位物体部件并分类从属类别。该方法在CUB-200-2011数据集上实现了最先进性能，推理速度达每秒32帧，并基于部件级比较标准生成人类可理解的解释手册。

ABSTRACT

A well-designed fine-grained categorization system usually has three contradictory requirements: accuracy (the ability to identify objects among subordinate categories); interpretability (the ability to provide human-understandable explanation of recognition system behavior); and efficiency (the speed of the system). To handle the trade-off between accuracy and interpretability, we propose a novel "Deeper Part-Stacked CNN" architecture armed with interpretability by modeling subtle differences between object parts. The proposed architecture consists of a part localization network, a two-stream classification network that simultaneously encodes object-level and part-level cues, and a feature vectors fusion component. Specifically, the part localization network is implemented by exploring a new paradigm for key point localization that first samples a small number of representable pixels and then determine their labels via a convolutional layer followed by a softmax layer. We also use a cropping layer to extract part features and propose a scale mean-max layer for feature fusion learning. Experimentally, our proposed method outperform state-of-the-art approaches both in part localization task and classification task on Caltech-UCSD Birds-200-2011. Moreover, by adopting a set of sharing strategies between the computation of multiple object parts, our single model is fairly efficient running at 32 frames/sec.

研究动机与目标

• 为解决细粒度视觉分类（FGVC）中准确性、可解释性与效率之间的矛盾需求。
• 开发一种统一的深度学习框架，以建模物体部件间的细微差异，从而提升分类性能。
• 生成基于部件级比较标准的人类可理解的解释手册，以说明分类决策依据。
• 在保持最先进准确率的同时，实现每秒32帧的高推理速度。

提出的方法

• 使用全卷积网络进行关键点定位，通过1×1卷积层和Softmax函数对采样得到的代表性像素进行标签预测。
• 提出一种新型部件裁剪层，从检测到的部件位置提取局部特征，实现部件特异性特征学习。
• 采用双流分类网络并行处理全局（对象级）与局部（部件级）特征，以增强判别能力。
• 通过尺度均值-最大池化层融合部件流与对象流的特征，生成最终的鲁棒表征。
• 通过学习到的加权方式融合部件流与对象流的特征向量，以提升分类性能。
• 通过‘一对一’与‘一对多’比较方法，基于各部件间预测分数差异生成解释。

实验结果

研究问题

• RQ1 深度学习模型是否能在细粒度视觉分类中同时实现高准确性、实时推理与人类可解释的分类决策？
• RQ2 如何有效将部件级监督整合进统一的CNN架构中，以提升对相似子类别的判别能力？
• RQ3 能否通过单一模型高效处理多个物体部件，而无需为每个部件单独设计网络，同时保持速度与准确性？
• RQ4 基于部件的比较在多大程度上能生成直观、人类可读的手册，以帮助区分细粒度类别？

主要发现

• DPS-CNN模型在CUB-200-2011数据集上的部件定位与细粒度分类任务中均达到最先进性能。
• 该方法以每秒32帧的速度运行，尽管网络深度较大，仍展现出强大的实时推理效率。
• 该模型可生成可解释的、类似视觉场地图的手册，通过部件级比较标准突出显示相似类别之间的判别性部件。
• '一对一'解释方法成功识别出用于将预测类别与最相似子类别区分开来的最具判别力的部件。
• 通过裁剪层实现部件间共享特征提取，显著降低计算成本，同时保持高准确率。