[论文解读] PerforatedCNNs: Acceleration through Elimination of Redundant Convolutions

Michael Figurnov, Aijan Ibraimova+2 more|arXiv (Cornell University)|Apr 30, 2015

Advanced Neural Network Applications参考文献 22被引用 119

一句话总结

本文提出PerforatedCNNs，一种通过使用穿孔掩码在特定空间位置有选择性地跳过卷积计算来加速卷积神经网络的方法。通过插值重建缺失的输出并进行微调，该方法在AlexNet和VGG-16上实现了2×–4×的加速，且精度损失极小，同时保持了网络架构，并可与其他加速技术结合使用。

ABSTRACT

We propose a novel approach to reduce the computational cost of evaluation of convolutional neural networks, a factor that has hindered their deployment in low-power devices such as mobile phones. Inspired by the loop perforation technique from source code optimization, we speed up the bottleneck convolutional layers by skipping their evaluation in some of the spatial positions. We propose and analyze several strategies of choosing these positions. We demonstrate that perforation can accelerate modern convolutional networks such as AlexNet and VGG-16 by a factor of 2x - 4x. Additionally, we show that perforation is complementary to the recently proposed acceleration method of Zhang et al.

研究动机与目标

• 为在移动电话等低功耗设备上部署卷积神经网络（CNN）时降低其推理计算成本。
• 利用中间特征图中的空间冗余性，消除不必要的卷积计算，而无需改变网络架构。
• 开发一种灵活且保持架构不变的方法，通过有选择性地评估卷积层中的空间位置实现实时推理加速。
• 证明穿孔方法与现有加速技术（如低秩分解和权重重剪枝）具有互补性。

提出的方法

• 该方法将循环穿孔原理应用于卷积层，通过定义穿孔掩码 I ⊆ Ω，选择性地仅对部分空间位置进行精确计算。
• 其余输出位置通过插值重建，以保留空间结构的同时减少计算量。
• 提出了多种穿孔掩码的选择策略，包括均匀、随机以及基于特征图统计的自适应模式。
• 穿孔后对网络进行微调以恢复精度，且仅需极少的微调训练。
• 该方法与现有深度学习库兼容，可无缝集成到CuDNN或类似框架中。
• 将该方法与Zhang等人[28]提出的通道间冗余方法结合，通过利用不同类型冗余实现进一步加速。

实验结果

研究问题

• RQ1 能否利用卷积特征图中的空间冗余性，在不改变网络架构的前提下减少推理时间？
• RQ2 如何设计穿孔掩码以在最小化精度损失的同时最大化计算加速？
• RQ3 穿孔方法在多大程度上可与低秩分解等其他加速技术结合使用？
• RQ4 穿孔网络的性能在不同模型（如AlexNet和VGG-16）上是否保持鲁棒？

主要发现

• PerforatedCNNs在CPU和GPU上对AlexNet和VGG-16均实现了2×–4×的加速，且top-1精度仅略有下降。
• 在VGG-16上，理论4×加速带来了GPU上4.7×的实际加速，乘法运算量减少了71.6%，且错误率仅增加5.5%。
• 该方法保持了参数数量和中间特征图尺寸不变，可无缝集成到现有推理流水线中。
• 将穿孔与Zhang等人[28]提出的通道间冗余方法结合，实现了4×理论加速，错误率仅增加1.6%，优于单独使用任一方法的效果。
• 穿孔后的微调能有效恢复精度，当与其他方法结合时，第二阶段仅需使用较小的学习率。