[论文解读] Scaling Up Exact Neural Network Compression by ReLU Stability

Thiago Serra, Yu, Xin+2 more|arXiv (Cornell University)|Feb 15, 2021

Neural Networks and Applications参考文献 92被引用 4

一句话总结

本文提出ISA（识别稳定激活），一种新方法，通过求解单个混合整数线性规划（MILP）问题来识别在输入域内具有稳定（线性）行为的所有ReLU神经元，从而加速精确神经网络剪枝。该方法在CIFAR-10数据集上相较先前最先进方法实现了中位183倍的加速，使更深（5×100）和更宽（2×800）的网络能够实现精确剪枝，同时在ℓ1正则化下保持精度，连接剪枝比例高达56%。

ABSTRACT

We can compress a rectifier network while exactly preserving its underlying functionality with respect to a given input domain if some of its neurons are stable. However, current approaches to determine the stability of neurons with Rectified Linear Unit (ReLU) activations require solving or finding a good approximation to multiple discrete optimization problems. In this work, we introduce an algorithm based on solving a single optimization problem to identify all stable neurons. Our approach is on median 183 times faster than the state-of-art method on CIFAR-10, which allows us to explore exact compression on deeper (5 x 100) and wider (2 x 800) networks within minutes. For classifiers trained under an amount of L1 regularization that does not worsen accuracy, we can remove up to 56% of the connections on the CIFAR-10 dataset. The code is available at the following link, https://github.com/yuxwind/ExactCompression.

研究动机与目标

• 为解决精确神经网络剪枝中的可扩展性瓶颈，该瓶颈源于需对每个ReLU神经元在所有输入下验证其稳定性。
• 降低识别稳定神经元（即输出始终为0或预激活值的神经元）的计算成本，以实现精确剪枝。
• 实现对更深更宽网络（如5×100、2×800）在CIFAR-10和MNIST等数据集上的实用化精确剪枝。
• 开发一种基于GPU的预处理步骤，提前过滤掉非稳定神经元，从而提升整体效率。
• 提出并验证LEO++作为新型压缩算法，该算法按层进行一次压缩，而非逐个神经元处理，从而提升可扩展性。

提出的方法

• 提出ISA方法，将前馈网络中所有ReLU神经元的稳定性验证问题建模为单个混合整数线性规划（MILP）问题。
• 利用基于GPU的预处理步骤，识别在训练集上不稳定的神经元，从而减少需进行MILP验证的神经元数量。
• 提出LEO++作为新型压缩算法，通过利用稳定神经元实现每层一次的无损压缩，避免逐个神经元求解MILP。
• 通过相应调整输入边界，将MILP公式适配以处理输入域约束，包括数据归一化和批量归一化层。
• 利用预激活输出和ReLU行为定义线性区域，其中神经元输出为0或输入的线性函数，从而在域约束下实现精确等价。
• 采用混合策略：先通过预处理剔除非稳定神经元，再对剩余候选神经元应用MILP验证其稳定性。

实验结果

研究问题

• RQ1 是否可以使用单个MILP公式来验证前馈网络中所有ReLU神经元的稳定性，而非为每个神经元分别求解？
• RQ2 通过求解单个MILP而非多个MILP，能否显著提升精确剪枝的速度，尤其是在更深更宽的网络中？
• RQ3 该方法在多大程度上可扩展至更深（如5×100）和更宽（如2×800）的网络？
• RQ4 基于GPU的预处理步骤在减少需MILP验证的神经元数量方面有多高效？
• RQ5 LEO++能否以远低于逐神经元MILP验证的计算成本，实现等效的压缩效果？

主要发现

• 所提出的ISA算法在CIFAR-10数据集上相较先前最先进方法实现了中位183倍的加速，且在更大网络上收益更为显著。
• 在CIFAR-10上，该方法可在数分钟内实现2×800网络的精确剪枝，在ℓ1正则化下连接剪枝比例高达56%且精度保持不变。
• 对于使用ℓ1正则化训练的2×100 MNIST分类器，若精度未下降，则可精确移除约20%的神经元和40%的连接。
• 仅GPU预处理步骤即可实现中位3.2倍的加速，通过在MILP求解前过滤掉非稳定神经元。
• LEO++将MILP求解次数从每个稳定神经元一次减少为每层一次，显著提升了可扩展性，使更深更宽网络的实用化压缩成为可能。
• 在LeNet基线的CIFAR-10模型中，高达11.86%的稳定不活跃神经元可被置零掩码，且精度无损失，该剪枝方法与后续有损稀疏化兼容。