[论文解读] On-the-fly Network Pruning for Object Detection

Marc Masana, Joost van de Weijer+1 more|arXiv (Cornell University)|May 11, 2016

Advanced Neural Network Applications参考文献 5被引用 5

一句话总结

本文提出一种用于目标检测的实时网络剪枝方法，通过利用图像级特征激活，动态移除全连接层中冗余的神经元单元，以在处理数千个候选边界框之前优化网络结构。通过识别并剪除在整个图像上激活值接近零的单元，该方法可将网络参数减少高达40%，同时mAP下降幅度极小，显著提升了推理效率，且无需微调训练。

ABSTRACT

Object detection with deep neural networks is often performed by passing a few thousand candidate bounding boxes through a deep neural network for each image. These bounding boxes are highly correlated since they originate from the same image. In this paper we investigate how to exploit feature occurrence at the image scale to prune the neural network which is subsequently applied to all bounding boxes. We show that removing units which have near-zero activation in the image allows us to significantly reduce the number of parameters in the network. Results on the PASCAL 2007 Object Detection Challenge demonstrate that up to 40% of units in some fully-connected layers can be entirely eliminated with little change in the detection result.

研究动机与目标

• 通过利用单张图像生成的数千个候选边界框之间的高相关性，降低目标检测中的计算成本。
• 开发一种动态剪枝策略，基于图像级激活模式而非静态或训练后剪枝，移除神经网络中的冗余单元。
• 在通过移除在整个图像上激活值接近零的单元来降低模型复杂度的同时，保持高检测精度。
• 探索基于激活分析对全连接层中的前向与后向单元同时剪枝的可行性。
• 在PASCAL VOC 2007数据集上，基于Fast R-CNN框架与修改后的VGG16架构评估该方法。

提出的方法

• 通过识别并移除pool5层中在空间维度上激活值接近零的单元，基于激活值的阈值化求和，对fc6层执行前向单元剪枝。
• 通过预分类器预测图像中可能存在的物体类别，仅保留前N个类别，并从权重和偏置矩阵中剪除其余类别，实现对fc8层的后向单元剪枝。
• 该方法使用ReLU激活函数，激活值低于阈值的单元被视为零，从而可移除对应权重矩阵中的行和偏置向量中的元素。
• 剪枝操作在处理边界框提议之前完成，使整个候选框处理过程可使用更小、更高效的网络。
• 该方法适用于全连接层和卷积层，因激活分析与层类型无关。
• 剪枝后不进行微调；剪枝后的网络直接使用原始训练权重，参数减少通过结构化地移除不活跃单元实现。

实验结果

研究问题

• RQ1 是否可以利用图像级激活模式，在处理多个相关联的边界框之前，识别并移除神经网络中的冗余单元？
• RQ2 在全连接层中，可在多大程度上实现参数减少，而不会导致目标检测性能显著下降？
• RQ3 基于特征图激活的前向剪枝与基于预测类别概率的后向剪枝在精度与效率方面有何差异？
• RQ4 识别接近零激活值的最优阈值是多少，才能在保持检测性能的同时实现最佳剪枝效果？
• RQ5 该实时剪枝策略是否可扩展至其他层及任务（如语义分割）？

主要发现

• fc6层中高达40%的单元可被剪枝，mAP损失小于1%，表明在几乎不影响精度的前提下实现了显著的参数压缩。
• 在pool5层上执行的前向剪枝使fc6参数量减少25%–40%，mAP损失小于1%，显示出高效率与强鲁棒性。
• 在fc8层上执行的后向剪枝在保留6个及以上类别时，可实现高达70%的参数减少，且mAP损失小于1%，表明在输出层压缩方面表现优异。
• 当fc6层参数减少超过40%或fc8层保留类别少于6个时，性能出现明显下降，表明在高剪枝率下存在性能权衡。
• 剪枝低激活单元后，检测性能出现轻微初始提升，可能源于对微弱激活带来的噪声抑制。
• 尽管fc8层仅占网络总参数的一小部分，该方法仍表现有效，表明其在具有大量输出类别的模型中具有实际应用价值。