[论文解读] PVANet: Lightweight Deep Neural Networks for Real-time Object Detection

Sang‐Hoon Hong, Byungseok Roh+3 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 13被引用 81

一句话总结

PVANet 提出了一种轻量级、浅而深的卷积神经网络架构，用于实时目标检测，通过采用改进的 C.ReLU、Inception 模块、批量归一化和残差连接，在计算成本上相比 ResNet-101 降低了 90% 以上，同时在 PASCAL VOC2007 上达到 84.9% 的 mAP，在 VOC2012 上达到 84.2%，使其成为在 50ms 内完成推理的最高效 SOTA 检测器。

ABSTRACT

In object detection, reducing computational cost is as important as improving accuracy for most practical usages. This paper proposes a novel network structure, which is an order of magnitude lighter than other state-of-the-art networks while maintaining the accuracy. Based on the basic principle of more layers with less channels, this new deep neural network minimizes its redundancy by adopting recent innovations including C.ReLU and Inception structure. We also show that this network can be trained efficiently to achieve solid results on well-known object detection benchmarks: 84.9% and 84.2% mAP on VOC2007 and VOC2012 while the required compute is less than 10% of the recent ResNet-101.

研究动机与目标

• 设计一种深度神经网络，显著降低计算成本，同时不牺牲实时应用中的检测精度。
• 探索现代 CNN 中的架构冗余，并通过高效设计原则予以消除。
• 在极低 FLOPs 下实现 SOTA 检测性能，以支持在资源受限设备上的部署。
• 证明通过优化组件构建的浅而深的网络可在速度和精度上超越更重的模型。

提出的方法

• 采用“更多层但通道更少”的原则以减少模型冗余。
• 引入一种改进的 C.ReLU，每个通道单独设置偏置，以提升早期层的特征表示能力。
• 使用 Inception 模块，以 3x3 卷积替代大卷积核，以减少参数增长并保持多尺度感受野。
• 应用批量归一化和预激活残差连接，以稳定深层网络的训练过程。
• 实施基于损失平台检测的动态学习率调度策略，以提升收敛性和精度。
• 采用多尺度特征拼接和边界框投票技术，以增强检测的鲁棒性。

实验结果

研究问题

• RQ1 能否在不损害检测精度的前提下，显著减轻深度神经网络的计算负担？
• RQ2 如改进的 C.ReLU 和 Inception 模块等架构创新，在减少冗余和计算成本方面有多高效？
• RQ3 通过批量归一化和残差连接训练的浅而深的网络，能否实现实时推理速度下的高精度？
• RQ4 PVANet 与 ResNet-101 和 VGG-16 等更重的模型相比，在精度和推理效率方面表现如何？
• RQ5 在不造成显著精度损失的前提下，模型压缩技术能在多大程度上进一步提升推理速度？

主要发现

• PVANet 在 PASCAL VOC2007 上达到 84.9% mAP，在 VOC2012 上达到 84.2% mAP，相比使用 ResNet-101 的 Faster R-CNN 提升了 0.4% mAP。
• 网络推理时间低于 50ms（200 个提议时为 46.1ms），是 mAP 超过 80% 的网络中最快的一个。
• 通过边界框投票，PVANet+ 在 VOC2007 上 mAP 提升至 84.9%，在 VOC2012 上为 84.2%，同时保持低延迟。
• 通过截断 SVD 进行模型压缩后，推理速度提升至 31.3 FPS（31.9ms），在 VOC2007 上仅损失 0.5% 的精度。
• PVANet+ 的理论计算成本为 27.8 GMAC，低于基于 ResNet-101 的 Faster R-CNN（206.4 GMAC）的 10%。
• PVANet 是 PASCAL VOC2012 排行榜上唯一一个 mAP >80% 且推理时间 ≤50ms 的网络，整体排名第 4 名。