[论文解读] Pruning has a disparate impact on model accuracy

Cuong Tran, Ferdinando Fioretto+2 more|arXiv (Cornell University)|May 26, 2022

Statistical Methods and Inference被引用 6

一句话总结

本文揭示了神经网络剪枝会不成比例地损害少数群体的模型准确率，加剧公平性差异。它将梯度范数和决策边界距离的不平衡确定为根本原因，并提出一种公平感知的损失函数，通过惩罚这些差异显著减少剪枝模型中的准确率差距。

ABSTRACT

Network pruning is a widely-used compression technique that is able to significantly scale down overparameterized models with minimal loss of accuracy. This paper shows that pruning may create or exacerbate disparate impacts. The paper sheds light on the factors to cause such disparities, suggesting differences in gradient norms and distance to decision boundary across groups to be responsible for this critical issue. It analyzes these factors in detail, providing both theoretical and empirical support, and proposes a simple, yet effective, solution that mitigates the disparate impacts caused by pruning.

研究动机与目标

• 探究为何神经网络剪枝会对不同人群造成差异化的准确率影响。
• 识别导致剪枝模型中这些差异的根本因素。
• 开发一种简单而有效的缓解方法，以减轻剪枝导致的公平性退化。
• 为梯度范数和海森矩阵在公平性退化中的作用提供理论与实证支持。
• 证明剪枝可能在不同群体间引发“强者愈强，弱者愈弱”的准确率效应。

提出的方法

• 该方法引入一种修改后的损失函数，通过惩罚不同人群间平均梯度范数的差异来实现公平性优化。
• 引入惩罚项以减少不同人群间到决策边界的距离差异。
• 该方法设计轻量化，可与标准剪枝流程无缝集成。
• 理论分析将梯度范数不平衡与海森矩阵差异与剪枝模型中的公平性退化联系起来。
• 在多个数据集（如 UTK-Face）、模型架构（如 ResNet18）和剪枝率下进行实证验证。
• 采用过量损失（excessive loss）作为度量指标，量化公平性影响。

实验结果

研究问题

• RQ1 为何剪枝会导致少数人群的准确率下降更加严重？
• RQ2 导致剪枝模型中观察到的公平性差异的根本因素是什么？
• RQ3 梯度范数不平衡与海森矩阵差异如何导致公平性退化？
• RQ4 简单的损失函数修改能否有效减少剪枝模型中的公平性差异？
• RQ5 所提出的方法是否能缓解剪枝后模型准确率的“强者愈强，弱者愈弱”现象？

主要发现

• 剪枝持续提高高性能群体（如 UTK-Face 中的白人群体）的准确率，同时降低低性能群体的准确率，表现出马太效应。
• 群体间梯度范数的差异是解释少数群体在剪枝后准确率损失更大的关键因素。
• 与群体特定数据相关的海森矩阵差异导致了可分性不均等，进而引发公平性退化。
• 所提出的公平感知损失函数显著减少了剪枝模型中不同人群之间的准确率差异。
• 实证结果表明，该方法在多个数据集和架构上均有效缓解了“强者愈强，弱者愈弱”的现象。
• 该方法在不牺牲整体模型准确率的前提下提升了公平性，适用于资源受限且对公平性敏感的应用场景。