[论文解读] Pedestrian Detection with Unsupervised Multi-Stage Feature Learning

Pierre Sermanet, Koray Kavukcuoglu+2 more|arXiv (Cornell University)|Dec 1, 2012

Video Surveillance and Tracking Methods参考文献 3被引用 29

一句话总结

本文提出了一种无监督的多阶段卷积神经网络用于行人检测，通过卷积稀疏编码预训练学习分层特征，随后进行端到端的有监督微调。该模型在所有主要行人检测基准测试中均取得了最先进或具有竞争力的性能，包括 INRIA、Caltech、Daimler、ETH 和 TU Dresden，在多个数据集的关键评估指标下 AUC 分数超过 90%。

ABSTRACT

Pedestrian detection is a problem of considerable practical interest. Adding to the list of successful applications of deep learning methods to vision, we report state-of-the-art and competitive results on all major pedestrian datasets with a convolutional network model. The model uses a few new twists, such as multi-stage features, connections that skip layers to integrate global shape information with local distinctive motif information, and an unsupervised method based on convolutional sparse coding to pre-train the filters at each stage.

研究动机与目标

• 开发一种基于深度学习的行人检测系统，通过从无标签数据中学习分层特征，减少对手工设计特征的依赖。
• 在具有可变姿态、遮挡、光照和背景变化的挑战性行人数据集上提高检测精度。
• 证明通过卷积稀疏编码进行无监督预训练在初始化行人检测中深层特征层次结构方面的有效性。
• 通过层间跳跃连接整合多阶段特征，结合局部模式检测器与全局形状信息。
• 在无需依赖大量手工特征工程的情况下，在多个标准行人检测基准测试中实现最先进或具有竞争力的性能。

提出的方法

• 该模型采用多阶段卷积神经网络架构，利用 INRIA 数据集上的卷积稀疏编码对每一层进行无监督预训练。
• 每一层的滤波器通过一种无监督算法学习，鼓励稀疏性和过完备性，从而发现边缘、角点和连接点检测器。
• 引入层间跳跃连接，使高层网络能够同时访问低层局部特征和高层全局形状表征。
• 在完成无监督预训练后，使用带标签的行人数据对整个网络进行端到端的有监督微调。
• 系统处理彩色图像，并在所有颜色通道上学习特征，增强了判别能力。
• 最终分类器在分层特征表示上进行训练，以预测滑动窗口区域中是否存在行人。

实验结果

研究问题

• RQ1 通过卷积稀疏编码进行无监督多阶段特征学习，是否能在行人检测中超越传统手工设计的特征？
• RQ2 通过层间跳跃连接整合局部模式检测器与全局形状检测器，在提升检测精度方面有多有效？
• RQ3 在像 INRIA 这样较小的数据集上进行无监督预训练，能在多大程度上提升在更大、更多样化行人检测基准上的性能？
• RQ4 所提出的方法是否能在无需依赖领域特定特征工程的情况下，在多个标准行人检测数据集上实现最先进性能？
• RQ5 无监督预训练与端到端微调的结合是否能在保持计算可行性的同时，实现适用于实时应用的竞争力结果？

主要发现

• 所提出的 ConvNet-U-MS 模型在所有主要行人检测基准测试中均取得了最先进或具有竞争力的结果，包括 INRIA、Caltech-USA、Daimler、ETH 和 TU Dresden。
• 在 INRIA 数据集上，该模型在 'Large' 检测范围（>100 像素）下达到了 91.3% 的 AUC，优于先前方法。
• 在 ETH 数据集上，该模型在 'Large' 行人中达到 66.6% 的 AUC，在 'Near' 行人中达到 80.0%（>80 像素），表明其在小尺寸和中尺寸行人上的强大性能。
• 在 Caltech-USA 测试集上，该模型在 'Large' 行人中达到 91.8% 的 AUC，在 'Near' 行人中达到 85.3%，表明其在不同尺度上的鲁棒性。
• 在 INRIA-fixed 的 'Medium' 范围（30–80 像素）下，该模型达到了 91.5% 的 AUC，表明其在复杂度较高的中尺寸行人上也表现出色。
• 使用卷积稀疏编码进行无监督预训练显著提升了特征质量，使得即使在标注数据有限的情况下也能实现高性能。