[论文解读] Vehicle classification using ResNets, localisation and spatially-weighted pooling

Rohan Watkins, Nick Pears+1 more|arXiv (Cornell University)|Oct 15, 2018

Advanced Neural Network Applications参考文献 4被引用 5

一句话总结

该论文提出了一种基于ResNet-50的方法，采用空间加权池化（SWP）和专用定位网络进行细粒度车辆分类，在Comprehensive Cars数据集上实现了96.351%的top-1准确率——通过联合使用SWP和定位网络，相比标准ResNet-50提升了3.7个百分点，但仍略低于最先进的微调模型。

ABSTRACT

We investigate whether ResNet architectures can outperform more traditional Convolutional Neural Networks on the task of fine-grained vehicle classification. We train and test ResNet-18, ResNet-34 and ResNet-50 on the Comprehensive Cars dataset without pre-training on other datasets. We then modify the networks to use Spatially Weighted Pooling. Finally, we add a localisation step before the classification process, using a network based on ResNet-50. We find that using Spatially Weighted Pooling and localisation both improve classification accuracy of ResNet50. Spatially Weighted Pooling increases accuracy by 1.5 percent points and localisation increases accuracy by 3.4 percent points. Using both increases accuracy by 3.7 percent points giving a top-1 accuracy of 96.351\% on the Comprehensive Cars dataset. Our method achieves higher accuracy than a range of methods including those that use traditional CNNs. However, our method does not perform quite as well as pre-trained networks that use Spatially Weighted Pooling.

研究动机与目标

• 评估ResNet架构在无预训练的情况下是否优于传统CNN在细粒度车辆分类中的表现。
• 研究空间加权池化（SWP）对车辆识别任务中分类准确率的影响。
• 评估定位网络在提升车辆分类性能方面的贡献。
• 将所提方法与现有最先进方法进行比较，特别是使用预训练模型的方法。

提出的方法

• 该方法使用ResNet-50作为主干网络进行特征提取，在Comprehensive Cars数据集上从零开始训练，未使用ImageNet预训练。
• 在最后一层卷积层之后应用空间加权池化（SWP），以突出空间相关特征，分箱基于边界框的尺寸和位置。
• 训练一个基于ResNet-50的独立定位网络，用于预测车辆边界框，从而在分类前提升特征的相关性。
• 定位网络通过在ResNet-50特征提取器之上添加回归头，预测车辆边界框的x、y坐标、宽度和高度。
• 最终分类头使用一个1024维的全连接层，后接Softmax，SWP增强空间特征表示。
• 系统结合定位网络的输出与SWP增强的特征，以提升分类准确率。

实验结果

研究问题

• RQ1 ResNet架构在无预训练的情况下是否能在细粒度车辆分类中实现优于传统CNN的性能？
• RQ2 空间加权池化（SWP）在多大程度上提升了车辆识别任务中的分类准确率？
• RQ3 专用定位网络在车辆分类性能提升中贡献了多少？
• RQ4 所提方法在准确率上与最先进模型相比如何，特别是与使用预训练的模型相比？

主要发现

• 仅使用空间加权池化（SWP）相比标准ResNet-50，top-1准确率提升了1.5个百分点。
• 仅使用定位网络，top-1准确率提升了3.4个百分点。
• 同时使用SWP和定位网络，top-1准确率提升了3.7个百分点，达到96.351%。
• 最佳模型的top-5准确率达到99.463%，表明对预测错误具有较强的鲁棒性。
• 该方法的准确率高于非ResNet基线方法（如深度边缘颜色法，top-1准确率为95.9%），但参数量更高（67M vs. 11M）。
• 定位网络表现稳健，99%的预测结果与真实值相差不超过一个分箱（10.5像素），尽管宽度和高度预测的准确性低于位置预测。