[论文解读] Shapley Value as Principled Metric for Structured Network Pruning

Marco Ancona, Cengiz Öztireli+1 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Neural Network Applications参考文献 36被引用 6

一句话总结

该论文提出使用Shapley值作为结构化神经网络剪枝的合理度量指标，借助合作博弈论更准确地评估隐藏单元的贡献。结果表明，Shapley值在性能退化最小化方面优于基于启发式的度量方法（如泰勒展开和随机剪枝），尤其在微调受限的低数据场景下表现更优。

ABSTRACT

Structured pruning is a well-known technique to reduce the storage size and inference cost of neural networks. The usual pruning pipeline consists of ranking the network internal filters and activations with respect to their contributions to the network performance, removing the units with the lowest contribution, and fine-tuning the network to reduce the harm induced by pruning. Recent results showed that random pruning performs on par with other metrics, given enough fine-tuning resources. In this work, we show that this is not true on a low-data regime when fine-tuning is either not possible or not effective. In this case, reducing the harm caused by pruning becomes crucial to retain the performance of the network. First, we analyze the problem of estimating the contribution of hidden units with tools suggested by cooperative game theory and propose Shapley values as a principled ranking metric for this task. We compare with several alternatives proposed in the literature and discuss how Shapley values are theoretically preferable. Finally, we compare all ranking metrics on the challenging scenario of low-data pruning, where we demonstrate how Shapley values outperform other heuristics.

研究动机与目标

• 为解决在缺乏或无效微调时，启发式归因度量在结构化网络剪枝中的局限性。
• 识别现有度量方法（如泰勒展开和LRP）在估计单元重要性时的理论缺陷。
• 提出Shapley值作为基于合作博弈论、具备理想公理性质的理论可靠替代方案。
• 通过实证验证，基于Shapley值的剪枝可减少性能损害，并在低数据设置下更好地保持模型准确率。

提出的方法

• 将合作博弈论中的Shapley值应用于量化每个隐藏单元对模型在特定任务上性能的贡献。
• 将每个单元的贡献建模为一个博弈，其中值函数衡量在包含或排除该单元时模型性能的变化。
• 使用蒙特卡洛近似高效估算Shapley值，通过对其他单元的随机子集取平均。
• 根据Shapley值对单元进行排序，以指导结构化剪枝——优先移除贡献最低的单元。
• 在不进行微调的情况下执行剪枝，以模拟低数据场景，测量准确率下降随剪枝比例的变化。
• 在标准基准数据集（CIFAR-10、CUB-200）上，将Shapley值与随机剪枝、泰勒展开和LRP进行比较。

实验结果

研究问题

• RQ1 在低数据结构化剪枝场景下，现有启发式单元重要性度量（如泰勒展开、LRP）的表现如何？
• RQ2 理想的归因度量应具备哪些理论特性以适用于结构化剪枝？当前方法在哪些方面未能满足这些要求？
• RQ3 由于其公理化基础，Shapley值是否能提供更合理且有效的单元排序以用于剪枝？
• RQ4 在无法进行微调的情况下，基于Shapley值的剪枝是否能比启发式或随机剪枝减少性能退化？

主要发现

• Shapley值在多个数据集（CIFAR-10和CUB-200）和不同剪枝比例下，始终优于其他度量方法（包括泰勒展开和随机剪枝）。
• 在CIFAR-10数据集上，当剪枝25%和50%的单元后，Shapley值实现了最高的测试准确率，甚至在低剪枝比例下也优于表现第二好的方法（随机剪枝）。
• 在更具挑战性的CUB-200数据集上，Shapley值保持了优越性能，而泰勒展开表现最佳，表明其在多样化设置下的鲁棒性。
• Shapley值能够识别出对性能有负面影响的单元，从而在最小化损害的前提下将其移除，而启发式方法无法可靠捕捉这一现象。
• 在低数据场景下，由于无法进行微调，Shapley值与其他度量方法之间的性能差距进一步扩大，凸显了在该类场景中使用合理度量的重要性。
• 本研究证明，由于其由效率、对称性和虚拟玩家等理想公理唯一刻画，Shapley值在理论上更具优越性。