[论文解读] Pushing the Limits of Deep CNNs for Pedestrian Detection

Qichang Hu, Peng Wang+3 more|arXiv (Cornell University)|Mar 15, 2016

Advanced Neural Network Applications参考文献 39被引用 4

一句话总结

本文提出了一种简单但极为有效的行人检测框架，通过重用微调后的VGG-16网络的卷积特征图（CFMs）作为提升决策森林的输入，在Caltech行人数据集上实现了最先进性能，对数平均漏检率为8.93%，相比之前工作相对提升了24%，且无需复杂的定制学习架构或大量手工设计的特征。

ABSTRACT

Compared to other applications in computer vision, convolutional neural networks have under-performed on pedestrian detection. A breakthrough was made very recently by using sophisticated deep CNN models, with a number of hand-crafted features, or explicit occlusion handling mechanism. In this work, we show that by re-using the convolutional feature maps (CFMs) of a deep convolutional neural network (DCNN) model as image features to train an ensemble of boosted decision models, we are able to achieve the best reported accuracy without using specially designed learning algorithms. We empirically identify and disclose important implementation details. We also show that pixel labelling may be simply combined with a detector to boost the detection performance. By adding complementary hand-crafted features such as optical flow, the DCNN based detector can be further improved. We set a new record on the Caltech pedestrian dataset, lowering the log-average miss rate from $11.7\%$ to $8.9\%$, a relative improvement of $24\%$. We also achieve a comparable result to the state-of-the-art approaches on the KITTI dataset.

研究动机与目标

• 探究复杂深度卷积神经网络（DCNN）架构是否为实现最先进行人检测性能所必需。
• 评估从预训练并微调的深度网络中重用卷积特征图（CFMs）作为传统机器学习检测器输入特征的有效性。
• 探索多层CFM融合以及与像素级语义标注集成对性能提升的影响。
• 证明仅使用CFMs的轻量级集成模型可超越复杂的基于DCNN的检测器，且无需定制学习框架。

提出的方法

• 在Caltech行人数据集上微调VGG-16模型，以使深层特征适应行人检测任务。
• 从微调后的VGG-16特定卷积层（如Conv3-3、Conv4-3、Conv5-3）中提取CFMs作为图像级特征。
• 在这些CFM特征上训练提升决策森林（如XGBoost或类似模型），构建强基线检测器。
• 通过分数平均法将多个基于CFM的检测器组合成集成模型。
• 将语义像素标注得分与检测得分结合，以提升定位精度与鲁棒性。
• 通过补充手工设计特征（如光流）进一步提升CFM基检测器的性能。

实验结果

研究问题

• RQ1 简单的、非定制化的DCNN特征重用策略是否能超越复杂的最先进DCNN基行人检测器？
• RQ2 从微调后的VGG-16中提取的单层与多层卷积特征图（CFMs）在行人检测中效果如何？
• RQ3 像素级语义标注在多大程度上能提升基于CFM的行人检测器性能？
• RQ4 将CFMs与手工设计特征（如光流）结合是否能带来显著的性能增益？
• RQ5 仅使用CFMs的轻量级提升树集成模型是否能在无需端到端训练或复杂架构的情况下实现SOTA性能？

主要发现

• 所提方法在Caltech行人数据集上实现了新的最先进对数平均漏检率8.93%，相比之前最佳的11.75%相对提升了24%。
• 仅使用微调后VGG-16的Conv3-3层CFM，模型即达到13.49%的漏检率，优于除最复杂DCNN框架外的所有先前方法。
• 融合三个层（Conv3-3、Conv4-3、Conv5-3）的CFMs后，性能提升至10.46%的漏检率，证明了多尺度特征表示的优势。
• 在检测得分中加入像素标注得分后，漏检率进一步降低至9.53%，表明语义分割线索具有互补性。
• All-in-one模型（结合CFMs、像素标注与手工特征，如光流）达到最佳结果8.93%的漏检率，超越了CompACT-Deep与DeepParts在Caltech上的表现。
• 在KITTI数据集上，快速集成模型在Moderate集上达到63.26%的AP，优于所有单目方法，并超过CompACT-Deep与DeepParts超过4.5个百分点。