[论文解读] Neural Network Compression Via Sparse Optimization

Tianyi Chen, Bo Ji+5 more|arXiv (Cornell University)|Nov 10, 2020

Advanced Neural Network Applications参考文献 32被引用 6

一句话总结

该论文提出了一种基于稀疏优化的新型神经网络压缩框架，采用OBProx-SG算法实现高FLOPs降低，同时保持最小的精度损失。通过在训练过程中递归利用稀疏信号，该方法在CIFAR10上的VGG16模型中实现了高达7.2×的FLOPs减少，在ImageNet上的ResNet50模型中实现了2.9×的FLOPs减少，分别保持了91.2%和75.1%的top-1精度。

ABSTRACT

The compression of deep neural networks (DNNs) to reduce inference cost becomes increasingly important to meet realistic deployment requirements of various applications. There have been a significant amount of work regarding network compression, while most of them are heuristic rule-based or typically not friendly to be incorporated into varying scenarios. On the other hand, sparse optimization yielding sparse solutions naturally fits the compression requirement, but due to the limited study of sparse optimization in stochastic learning, its extension and application onto model compression is rarely well explored. In this work, we propose a model compression framework based on the recent progress on sparse stochastic optimization. Compared to existing model compression techniques, our method is effective and requires fewer extra engineering efforts to incorporate with varying applications, and has been numerically demonstrated on benchmark compression tasks. Particularly, we achieve up to 7.2 and 2.9 times FLOPs reduction with the same level of evaluation accuracy on VGG16 for CIFAR10 and ResNet50 for ImageNet compared to the baseline heavy models, respectively.

研究动机与目标

• 解决深度神经网络在移动和云部署中推理成本过高的挑战。
• 通过利用稀疏优化，克服启发式或工程依赖性强的压缩方法的局限性。
• 探索近期随机稀疏优化进展在模型压缩中的适用性。
• 开发一种框架，可自动识别并剪枝冗余滤波器，最大限度减少用户干预。
• 通过稀疏感知训练实现高稀疏率压缩，同时保持模型精度。

提出的方法

• 采用OBProx-SG算法，这是随机稀疏优化领域的一项最新进展，用于在网络权重中诱导结构化稀疏性。
• 采用递归交替方案，根据计算出的稀疏信号动态调整每层的稀疏率。
• 应用ℓ₁-正则化以促进权重值为零，从而有效剪枝冗余滤波器。
• 引入压缩比下限ε = 0.1，防止任何层出现过度剪枝，确保结构稳定性。
• 在ResNet50中将残差块视为原子单元，以在剪枝过程中保留残差连接。
• 利用HSPG（未来工作）进行组稀疏性识别，以移除整个冗余隐藏单元。

实验结果

研究问题

• RQ1 近期随机稀疏优化的进展能否有效应用于深度神经网络压缩？
• RQ2 在非凸、随机训练过程中，如何准确识别并利用稀疏信号以实现有效剪枝？
• RQ3 基于稀疏优化的方法是否能在FLOPs减少方面优于现有的启发式或规则驱动剪枝技术？
• RQ4 在采用稀疏驱动剪枝进行激进压缩时，模型精度能在多大程度上得以保持？
• RQ5 所提出方法在不同架构（如VGG16和ResNet50）上，于多样化基准测试中具有怎样的可扩展性？

主要发现

• 所提出的RSP方法在CIFAR10上的VGG16模型中实现了7.2×的FLOPs减少，同时保持91.2%的top-1精度，优于基线模型。
• 在ImageNet上的ResNet50模型中，RSP将FLOPs减少了2.9倍，达到75.1%的top-1精度，优于所有对比方法。
• 该方法在精度方面保持了竞争力，尽管进行了激进剪枝，但在CIFAR10上的性能下降仅0.4%，远低于基线。
• 在两个基准测试中，RSP在FLOPs减少和精度保持方面均优于最先进的方法（如RBP和ThiNet-50）。
• 与基于启发式或强化学习的方法相比，该框架所需工程工作更少，且对不同应用场景更具适应性。
• 采用稀疏感知优化使冗余去除比基于大小或排序的剪枝方法更有效。