[论文解读] SAM-RCNN: Scale-Aware Multi-Resolution Multi-Channel Pedestrian Detection

Tianrui Liu, Mohamed Elmikaty+1 more|arXiv (Cornell University)|Aug 7, 2018

Advanced Neural Network Applications参考文献 22被引用 12

一句话总结

本文提出SAM-RCNN，一种尺度感知的多分辨率行人检测框架，通过根据行人尺寸自适应地从不同卷积层选择CNN特征，以平衡特征抽象与分辨率。通过在SAM+中采用尺度感知的特征选择和互补的语义/边缘通道，该方法在Caltech和KITTI基准上实现了最先进性能，Caltech上的漏检率为4.9%（IoU=0.5），KITTI硬样本集上的mAP达到68.40%。

ABSTRACT

Convolutional neural networks (CNN) have enabled significant improvements in pedestrian detection owing to the strong representation ability of the CNN features. Recently, aggregating features from multiple layers of a CNN has been considered as an effective approach, however, the same approach regarding feature representation is used for detecting pedestrians of varying scales. Consequently, it is not guaranteed that the feature representation for pedestrians of a particular scale is optimised. In this paper, we propose a Scale-Aware Multi-resolution (SAM) method for pedestrian detection which can adaptively select multi-resolution convolutional features according to pedestrian sizes. The proposed SAM method extracts the appropriate CNN features that have strong representation ability as well as sufficient feature resolution, given the size of the pedestrian candidate output from a region proposal network. Moreover, we propose an enhanced SAM method, termed as SAM+, which incorporates complementary features channels and achieves further performance improvement. Evaluations on the challenging Caltech and KITTI pedestrian benchmarks demonstrate the superiority of our proposed method.

研究动机与目标

• 为解决现有基于CNN的检测器在所有行人尺度上使用统一特征表示的局限性，该局限可能影响检测精度。
• 通过根据尺度选择最优特征层，提升对不同尺寸行人的检测性能，平衡特征抽象与分辨率。
• 通过引入互补的特征通道（语义和边缘）提升检测鲁棒性，减少由树叶子、交通灯等困难负样本引起的误报。
• 在标准行人检测基准上实现最先进性能，特别是在严格的IoU和困难场景评估设置下。

提出的方法

• SAM-RCNN框架使用区域建议网络（RPN）生成行人候选区域，随后估计每个候选的尺度，以确定最优的CNN特征层。
• 对于小尺寸行人，选择浅层CNN特征（如Conv3、Conv4）以获得更高分辨率；对于大尺寸行人，则使用深层特征以获得更强的抽象能力。
• SAM+变体引入了额外的语义和边缘特征通道，采用一种新颖的RoI直方图池化方法，从任意尺寸区域中提取特征。
• 应用主成分分析（PCA）将多分辨率特征归一化为固定长度向量，以兼容提升森林（BF）分类器。
• 采用BF分类器，因其能够灵活处理未归一化的特征幅值，并有效集成多分辨率与多通道特征。
• 提出一种尺度感知的特征选择策略，根据行人尺寸动态分配最合适的特征组合，避免次优的特征融合。

实验结果

研究问题

• RQ1 与固定特征融合相比，基于行人尺度自适应选择多分辨率CNN特征是否能提升检测精度？
• RQ2 引入互补的语义和边缘特征是否能提升检测性能，特别是对小尺寸或遮挡行人？
• RQ3 尺度感知的特征选择策略是否能减少由非行人物体（如树叶子、交通灯）引起的误报？
• RQ4 在严格的评估标准（如IoU=0.7和困难场景设置）下，所提方法与最先进检测器相比表现如何？

主要发现

• 在Caltech基准上，SAM检测器在IoU=0.5下的漏检率为4.9%，优于之前最先进方法HyperLearner的0.6%。
• 在KITTI数据集上，SAM+在硬样本集上的mAP达到68.40%，优于HyperLearner的4.67%。
• 语义特征通道的引入使检测性能提升1.02%，对小尺寸行人提升达2.24%，表明对困难样本更具优势。
• 增加边缘特征通道后性能进一步提升0.38%，且对小尺寸行人的相对增益高于大尺寸行人。
• 在IoU=0.7下，SAM+相比SAM提升0.4%，表明定位精度更优。
• 所提出的RoI直方图池化方法在提取互补特征向量方面优于标准RoI最大池化，尤其在语义和边缘特征上表现更优。