[论文解读] Scale Optimization for Full-Image-CNN Vehicle Detection

Yang Gao, Shouyan Guo+6 more|arXiv (Cornell University)|Feb 20, 2018

Advanced Neural Network Applications参考文献 19被引用 3

一句话总结

本文针对KITTI基准中的全图卷积神经网络车辆检测任务，对Faster R-CNN进行了尺度优化的改进，通过定制化的锚框选择与多层级特征融合，显著提升了性能。通过将区域建议的尺度与车辆尺寸的自然分布对齐，并融合浅层特征，该方法将KITTI车辆检测任务的平均平均精度（mAP）从76.3%提升至83.6%。

ABSTRACT

Many state-of-the-art general object detection methods make use of shared full-image convolutional features (as in Faster R-CNN). This achieves a reasonable test-phase computation time while enjoys the discriminative power provided by large Convolutional Neural Network (CNN) models. Such designs excel on benchmarks which contain natural images but which have very unnatural distributions, i.e. they have an unnaturally high-frequency of the target classes and a bias towards a "friendly" or "dominant" object scale. In this paper we present further study of the use and adaptation of the Faster R-CNN object detection method for datasets presenting natural scale distribution and unbiased real-world object frequency. In particular, we show that better alignment of the detector scale sensitivity to the extant distribution improves vehicle detection performance. We do this by modifying both the selection of Region Proposals, and through using more scale-appropriate full-image convolution features within the CNN model. By selecting better scales in the region proposal input and by combining feature maps through careful design of the convolutional neural network, we improve performance on smaller objects. We significantly increase detection AP for the KITTI dataset car class from 76.3% on our baseline Faster R-CNN detector to 83.6% in our improved detector.

研究动机与目标

• 解决通用目标检测器（如Faster R-CNN）在具有自然尺度分布的真实世界数据集（如KITTI）上应用时的性能差距问题。
• 提升对小尺寸和远距离车辆的检测精度，这些目标在标准基准中代表性不足，但在真实驾驶场景中却十分常见。
• 通过重新设计区域建议生成与特征提取方式，使检测器的尺度敏感性与KITTI数据集中实际的尺度分布相匹配。
• 证明将基于CNN的检测器适配至领域内自然的尺度分布，可显著提升真实世界车辆检测任务的性能。

提出的方法

• 重新设计区域建议网络（RPN）中的锚框尺度，使其更贴合KITTI数据集中车辆的自然尺度分布，尤其侧重于小尺寸目标。
• 融合来自多个卷积层（如第4层与第5层）的特征图，以增强多尺度特征表示，尤其有利于小尺寸车辆的检测。
• 采用残差块结构以改善梯度流动并提升特征多样性，从而更好地利用低层级、高分辨率的特征进行学习。
• 结合使用1×1、3×3和5×5卷积核的多尺度提议，以丰富不同尺度下的特征表示。
• 设计一种混合网络架构，融合浅层与深层特征，以提升对所有目标尺度的检测灵敏度。
• 采用端到端训练策略，辅以精细的初始化与优化方法，确保模型在KITTI基准上的收敛性与鲁棒性。

实验结果

研究问题

• RQ1 标准Faster R-CNN在KITTI数据集中不同目标尺度下的表现如何，特别是在小尺寸和远距离车辆上？
• RQ2 改进锚框尺度选择在真实驾驶场景中对小尺寸车辆检测精度的提升程度如何？
• RQ3 在不增加计算成本的前提下，结合多个卷积层的特征图是否能提升小目标的检测性能？
• RQ4 引入残差连接与多尺度卷积核对KITTI基准上的特征表示与检测mAP有何影响？

主要发现

• 所提方法将KITTI车辆检测基准的mAP从基线Faster R-CNN的76.3%显著提升至83.6%。
• 性能提升的大部分来自小尺寸车辆，其检测精度在低尺度范围内显著提高。
• 使用1×1、3×3和5×5卷积核的多尺度提议将初始检测性能从64.0%提升至66.3%（10,000次迭代后），尽管最终收敛性能仅略优于基线。
• 优化后的锚框与多层级特征融合的结合实现了最高的mAP，证明了联合进行尺度与特征工程的有效性。
• 残差块的引入使性能提升0.6%，并加速了收敛，表明其改善了梯度流动与特征多样性。
• 模型的精确率-召回率曲线在小目标区域表现出显著改进，证实了对低尺度车辆的检测灵敏度得到增强。