[论文解读] Object-centric Sampling for Fine-grained Image Classification

Xiaoyu Wang, Tianbao Yang+2 more|arXiv (Cornell University)|Dec 10, 2014

Advanced Neural Network Applications参考文献 12被引用 8

一句话总结

本文提出了一种面向细粒度图像分类的对象中心采样（OCS）方法，利用显著性感知的对象检测器，通过优先采样检测到的对象周围的图像窗口来指导CNN训练。通过构建一个包含333个类别和157,023张训练图像的大规模汽车数据集，该方法通过强调检测响应的多项式采样，将Top-1准确率从81.6%提升至89.3%，有效减少了背景杂乱的影响，并提升了在细粒度区分上的泛化能力。

ABSTRACT

This paper proposes to go beyond the state-of-the-art deep convolutional neural network (CNN) by incorporating the information from object detection, focusing on dealing with fine-grained image classification. Unfortunately, CNN suffers from over-fiting when it is trained on existing fine-grained image classification benchmarks, which typically only consist of less than a few tens of thousands training images. Therefore, we first construct a large-scale fine-grained car recognition dataset that consists of 333 car classes with more than 150 thousand training images. With this large-scale dataset, we are able to build a strong baseline for CNN with top-1 classification accuracy of 81.6%. One major challenge in fine-grained image classification is that many classes are very similar to each other while having large within-class variation. One contributing factor to the within-class variation is cluttered image background. However, the existing CNN training takes uniform window sampling over the image, acting as blind on the location of the object of interest. In contrast, this paper proposes an \emph{object-centric sampling} (OCS) scheme that samples image windows based on the object location information. The challenge in using the location information lies in how to design powerful object detector and how to handle the imperfectness of detection results. To that end, we design a saliency-aware object detection approach specific for the setting of fine-grained image classification, and the uncertainty of detection results are naturally handled in our OCS scheme. Our framework is demonstrated to be very effective, improving top-1 accuracy to 89.3% (from 81.6%) on the large-scale fine-grained car classification dataset.

研究动机与目标

• 为解决现有基准中因训练数据有限而导致的细粒度图像分类过拟合问题。
• 减少因细粒度图像中背景杂乱导致的类内差异。
• 通过从均匀采样转向基于目标检测的对象中心采样，提升CNN性能。
• 设计一个能够处理检测结果不完美的鲁棒检测与采样流程。
• 基于大规模、高分辨率的细粒度汽车数据集，建立一个强大的CNN基线用于汽车识别。

提出的方法

• 构建一个包含333个类别和157,023张训练图像的大规模细粒度汽车数据集，每个样本按品牌、型号和年份范围进行标注。
• 基于Regionlet检测设计一种显著性感知的对象检测框架，该框架在仅将最显著对象标注为正样本的数据集上进行训练。
• 使用选择性搜索生成候选区域，并应用Regionlet重定位以优化边界框预测。
• 实施一种多项式采样方案，为与高置信度检测响应重叠的图像窗口分配更高的采样概率。
• 用全局最大池化操作替代非极大值抑制，以保留图像中各区域的检测置信度。
• 使用333个类别对深度CNN进行训练，分别采用均匀采样和多项式采样进行消融实验与对比。

实验结果

研究问题

• RQ1 大规模细粒度数据集是否能显著提升CNN在细粒度图像分类中的性能？
• RQ2 基于检测结果的对象中心采样是否能减少背景杂乱对细粒度分类的负面影响？
• RQ3 显著性感知检测器在复杂、杂乱图像中识别最相关对象的能力如何？
• RQ4 多项式采样策略在处理不完美的检测输出时是否具有鲁棒性，同时提升分类准确率？
• RQ5 在细粒度识别任务中，对象中心采样在多大程度上优于均匀采样？

主要发现

• 所提出的大型汽车数据集使CNN基线达到81.6%的Top-1准确率，显著优于传统方法。
• 基于检测响应的多项式采样实现的对象中心采样将Top-1准确率提升至89.3%，相对提升7.7个百分点。
• 显著性感知检测器达到85.8%的平均精度，并始终对更大、更显著的对象赋予更高的置信度。
• 多项式采样方案有效降低了对背景特征的依赖，提升了在细粒度区分上的泛化能力。
• 该框架对不完美的检测结果表现出鲁棒性，即使在存在噪声检测输出的情况下仍能保持一致的性能提升。
• 可视化结果证实，模型聚焦于正确的对象区域，且在使用OCS时误分类预测更少。