[论文解读] Network Compression via Recursive Bayesian Pruning.

Yuefu Zhou, Ya Zhang+2 more|arXiv (Cornell University)|Dec 2, 2018

Advanced Neural Network Applications参考文献 18被引用 2

一句话总结

本文提出了一种新型通道剪枝方法——递归贝叶斯剪枝（Recursive Bayesian Pruning, RBP），该方法通过基于dropout的噪声度量和稀疏性诱导的狄拉克类先验，在贝叶斯框架下建模层间通道冗余。通过实现考虑层间依赖关系的逐层剪枝，且无需额外计算开销，RBP在ImageNet上实现了VGG16模型高达5.0倍的FLOPs减少，精度损失可忽略不计；对于ResNet50，FLOPs减少达2.2倍。

ABSTRACT

Channel Pruning, widely used for accelerating Convolutional Neural Networks, is an NP-hard problem due to the inter-layer dependency of channel redundancy. Existing methods generally ignored the above dependency for computation simplicity. To solve the problem, under the Bayesian framework, we here propose a layer-wise Recursive Bayesian Pruning method (RBP). A new dropout-based measurement of redundancy, which facilitate the computation of posterior assuming inter-layer dependency, is introduced. Specifically, we model the noise across layers as a Markov chain and target its posterior to reflect the inter-layer dependency. Considering the closed form solution for posterior is intractable, we derive a sparsity-inducing Dirac-like prior which regularizes the distribution of the designed noise to automatically approximate the posterior. Compared with the existing methods, no additional overhead is required when the inter-layer dependency assumed. The redundant channels can be simply identified by tiny dropout noise and directly pruned layer by layer. Experiments on popular CNN architectures have shown that the proposed method outperforms several state-of-the-arts. Particularly, we achieve up to $\bf{5.0 imes}$ and $\bf{2.2 imes}$ FLOPs reduction with little accuracy loss on the large scale dataset ILSVRC2012 for VGG16 and ResNet50, respectively.

研究动机与目标

• 解决由于冗余通道之间存在层间依赖关系，导致CNN通道剪枝问题为NP难的问题。
• 克服现有方法为追求计算简便而忽略层间依赖关系的局限性。
• 构建一个贝叶斯框架，将层间噪声建模为马尔可夫链，以反映通道冗余中的层间依赖关系。
• 引入一种稀疏性诱导的狄拉克类先验，以实现无需额外计算成本的后验近似。
• 实现高效、逐层的通道剪枝，在显著降低FLOPs的同时保持模型精度。

提出的方法

• 提出一种基于dropout的通道冗余度量方法，以促进在贝叶斯框架下后验计算的可行性。
• 将层间噪声建模为马尔可夫链，以在剪枝过程中显式捕捉层间的依赖关系。
• 引入一种稀疏性诱导的狄拉克类先验，以正则化噪声分布，并近似难以计算的后验分布。
• 通过最小dropout噪声识别冗余通道，实现逐层剪枝，避免迭代微调或再训练。
• 利用从先验和似然推导出的后验分布指导剪枝决策，且不增加额外推理开销。
• 在贝叶斯框架内制定剪枝目标，以平衡冗余检测与模型精度保持之间的权衡。

实验结果

研究问题

• RQ1 贝叶斯框架能否在保持计算效率的前提下，有效建模CNN中的层间通道冗余？
• RQ2 通过马尔可夫链噪声模型引入层间依赖关系，相较于独立层剪枝，能否显著提升剪枝的准确性和效率？
• RQ3 稀疏性诱导的狄拉克类先验在计算高效的前提下，能在多大程度上近似真实后验分布？
• RQ4 所提出的方法能否在VGG16和ResNet50等多样化CNN架构上实现显著的FLOPs减少，同时保持极小的精度损失？
• RQ5 与许多现有方法不同，该方法是否真正消除了剪枝过程中对额外训练或微调的需求？

主要发现

• 所提出的RBP方法在ILSVRC2012数据集上实现了VGG16高达5.0倍的FLOPs减少，且精度损失可忽略不计。
• 对于ResNet50，该方法将FLOPs减少了高达2.2倍，同时保持了高模型精度。
• 即使在建模复杂层间依赖关系的情况下，该方法仍能实现无额外计算开销的有效通道剪枝。
• 狄拉克类先验的使用使得后验近似更加高效，使该贝叶斯框架在实际CNN压缩中具备可行性。
• 基于dropout的冗余度量方法成功捕捉了层间依赖关系，从而提升了剪枝决策的准确性。
• 在标准基准测试中，该方法优于多种最先进的剪枝技术，展现出更优的效率与精度权衡。