[论文解读] Parsimonious Inference on Convolutional Neural Networks: Learning and applying on-line kernel activation rules

Ilias Theodorakopoulos, Vasileios K. Pothos+2 more|arXiv (Cornell University)|Jan 18, 2017

Advanced Neural Network Applications参考文献 3被引用 7

一句话总结

本文提出了一种新颖的数据驱动方法，可在推理过程中动态、实时地剪枝卷积神经网络（CNN）的卷积核，显著降低计算负载而不损失精度。通过引入一种可学习的激活规则，实时选择性禁用冗余滤波器，该方法在移动平台上的推理速度最高可提升3倍，同时保持或提升识别性能。

ABSTRACT

A new, radical CNN design approach is presented in this paper, considering the reduction of the total computational load during inference. This is achieved by a new holistic intervention on both the CNN architecture and the training procedure, which targets to the parsimonious inference by learning to exploit or remove the redundant capacity of a CNN architecture. This is accomplished, by the introduction of a new structural element that can be inserted as an add-on to any contemporary CNN architecture, whilst preserving or even improving its recognition accuracy. Our approach formulates a systematic and data-driven method for developing CNNs that are trained to eventually change size and form in real-time during inference, targeting to the smaller possible computational footprint. Results are provided for the optimal implementation on a few modern, high-end mobile computing platforms indicating a significant speed-up of up to x3 times.

研究动机与目标

• 在资源受限的环境（如移动设备）中减少CNN推理的计算负担。
• 解决固定且完全激活的CNN在所有层中处理冗余特征的低效问题。
• 开发一种基于输入数据实时自适应剪枝网络的方法，实现在推理过程中的动态调整。
• 在大幅降低计算量的同时保持或提升识别精度。
• 通过动态架构调整，实现在低功耗移动平台上的高精度CNN的实际部署。

提出的方法

• 提出一种可学习的、依赖输入的激活规则，在推理过程中动态禁用卷积层中的滤波器。
• 将轻量级门控机制作为附加模块嵌入到现有CNN架构中，保持原始网络结构不变。
• 使用可微分近似方法，端到端训练门控机制与CNN，以支持基于梯度的优化。
• 在推理阶段应用学习到的激活规则，使网络能根据输入动态“收缩”，从而减少FLOPs和内存访问。
• 采用结构化正则化策略，鼓励门控机制的稀疏性并防止过拟合。
• 采用硬阈值操作的可微分松弛方法，使梯度能反向传播通过稀疏推理过程。

实验结果

研究问题

• RQ1 CNN能否根据输入特征在推理过程中动态调整其计算负载？
• RQ2 如何在不损害精度的前提下实时识别并剪枝冗余滤波器？
• RQ3 在移动平台上，实现最小精度损失的最大计算量减少程度是多少？
• RQ4 可学习的门控机制能否端到端训练以控制卷积核激活，而无需修改网络架构？
• RQ5 动态推理对移动设备部署中的推理速度和能效有何影响？

主要发现

• 所提方法在高端移动平台上实现了最高3倍的推理速度提升，同时保持或提升了top-1精度。
• 尽管在推理过程中进行了显著的滤波器剪枝，该模型在基准数据集上仍保持或提升了精度。
• 该方法可兼容任何现有的CNN架构，仅需添加一个轻量级附加模块。
• 学习到的激活规则具有数据依赖性，可实现针对输入复杂度的自适应计算。
• 该方法降低了FLOPs和内存带宽使用，从而在移动设备上实现更低的能耗。
• 该方法在多种网络架构和数据集上表现出鲁棒性，性能提升稳定一致。