[论文解读] The Combinatorial Brain Surgeon: Pruning Weights That Cancel One Another in Neural Networks

Xin Yu, Thiago Serra+2 more|arXiv (Cornell University)|Mar 9, 2022

Brain Tumor Detection and Classification被引用 4

一句话总结

Combinatorial Brain Surgeon (CBS) 提出了一种新颖的剪枝方法，通过联合考虑权重移除的综合影响来选择需移除的权重，利用混合整数二次规划（MIQP）公式最小化损失增加。该方法在高稀疏度下（例如95–98%）显著优于基于大小的剪枝和现有的海森矩阵剪枝方法，通过利用权重抵消效应和单次遍历权重更新机制，在MNIST、CIFAR-10和ImageNet基准上实现了最先进性能。

ABSTRACT

Neural networks tend to achieve better accuracy with training if they are larger -- even if the resulting models are overparameterized. Nevertheless, carefully removing such excess parameters before, during, or after training may also produce models with similar or even improved accuracy. In many cases, that can be curiously achieved by heuristics as simple as removing a percentage of the weights with the smallest absolute value -- even though magnitude is not a perfect proxy for weight relevance. With the premise that obtaining significantly better performance from pruning depends on accounting for the combined effect of removing multiple weights, we revisit one of the classic approaches for impact-based pruning: the Optimal Brain Surgeon(OBS). We propose a tractable heuristic for solving the combinatorial extension of OBS, in which we select weights for simultaneous removal, as well as a systematic update of the remaining weights. Our selection method outperforms other methods under high sparsity, and the weight update is advantageous even when combined with the other methods.

研究动机与目标

• 解决现有剪枝方法独立评估权重移除的局限性，避免遗漏被剪枝权重之间的协同效应。
• 将组合剪枝问题建模为联合优化多个权重移除的影响，以最小化损失增加。
• 设计一种可行的启发式算法，通过局部搜索和半贪婪初始化求解NP难的组合剪枝问题。
• 将权重选择与权重更新解耦，以提升可扩展性，并支持对未剪枝权重的高效单次遍历更新。
• 证明联合考虑权重影响可显著提升高稀疏度下的性能，尤其在过参数化模型中表现更优。

提出的方法

• 将组合脑外科医生（CBS）问题建模为混合整数二次规划（MIQP），使用损失函数的二次近似来建模移除一组权重所导致的损失增加。
• 基于训练权重附近损失的函数泰勒展开，假设处于局部最小值并忽略三阶项，推导出损失变化的二次近似。
• 应用局部搜索算法，通过探索可降低估计损失增加的邻近解，迭代优化待剪枝权重的选择。
• 引入基于大小剪枝的随机扩展，以生成多样化的初始权重集合，增强对解空间的探索。
• 提出一种单次遍历、系统化的权重更新规则（CBS-U），在剪枝后高效调整未剪枝权重，受最优脑外科医生（OBS）启发，但推广至同时移除多个权重。
• 将权重选择与权重更新解耦，避免可扩展性瓶颈，并支持与现有剪枝流水线的高效集成。

实验结果

研究问题

• RQ1 联合考虑多个权重移除是否能带来优于顺序或独立剪枝的性能提升？
• RQ2 在剪枝权重之间存在抵消效应（即其联合对损失的影响小于各自影响之和）时，是否能提升高稀疏度下的模型准确率？
• RQ3 能否设计一种可行的启发式方法求解NP难的组合剪枝问题，而无需依赖昂贵的海森矩阵计算？
• RQ4 所提出的单次遍历权重更新（CBS-U）与现有基于海森矩阵的更新策略相比，在准确率和效率方面表现如何？
• RQ5 该方法在不同架构和数据集上是否保持或提升性能，尤其在极端稀疏度水平（如95–98%）下？

主要发现

• 在MobileNet上，ImageNet数据集98%稀疏度下，CBS-S（组合权重选择）相比基于大小的剪枝（MP）准确率提升17.20%，从10.12%提高至15.49%。
• 在ResNet20上，CIFAR-10数据集95%稀疏度下，CBS-S将准确率从MP的17.61%提升至32.63%，提升17.82%，表明在极端稀疏度下表现强劲。
• 在MobileNet上，60%稀疏度下，CBS-U（单次遍历权重更新）准确率最高提升24.39%，表明高效权重更新显著增强性能。
• 在MNIST上使用MLPNet，CBS-S在95%稀疏度下达到93.96%准确率，优于MP（83.64%）和WF-S（83.16%）超过10个百分点。
• CBS-S与CBS-U协同使用，在所有基准测试中均达到最先进性能，且在高稀疏度下持续优于基于大小的剪枝和WoodFisher方法。
• 该方法在多种架构上表现稳健：在所有测试模型（MLPNet、ResNet20、CIFARNet、MobileNet）的多个稀疏度水平下均取得最佳或第二佳结果。