[论文解读] Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation

Cody Blakeney, Nathaniel Huish+2 more|arXiv (Cornell University)|Jun 15, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用 4

一句话总结

本文提出了两种新颖的度量指标——组合误差方差（CEV）与对称距离误差（SDE），以定量评估剪枝神经网络中的偏差。结果表明，知识蒸馏能有效缓解剪枝引起的偏差，即使在数据分布不均衡的情况下亦然；同时发现，通过SVCCA测量的模型相似性与偏差降低密切相关，为剪枝过程中偏差产生的根源提供了合理解释。

ABSTRACT

In recent years the ubiquitous deployment of AI has posed great concerns in regards to algorithmic bias, discrimination, and fairness. Compared to traditional forms of bias or discrimination caused by humans, algorithmic bias generated by AI is more abstract and unintuitive therefore more difficult to explain and mitigate. A clear gap exists in the current literature on evaluating and mitigating bias in pruned neural networks. In this work, we strive to tackle the challenging issues of evaluating, mitigating, and explaining induced bias in pruned neural networks. Our paper makes three contributions. First, we propose two simple yet effective metrics, Combined Error Variance (CEV) and Symmetric Distance Error (SDE), to quantitatively evaluate the induced bias prevention quality of pruned models. Second, we demonstrate that knowledge distillation can mitigate induced bias in pruned neural networks, even with unbalanced datasets. Third, we reveal that model similarity has strong correlations with pruning induced bias, which provides a powerful method to explain why bias occurs in pruned neural networks. Our code is available at https://github.com/codestar12/pruning-distilation-bias

研究动机与目标

• 为解决现有度量指标（如PIEs）在评估剪枝神经网络偏差方面的不足，提出更有效的评估方法。
• 探究知识蒸馏是否能有效缓解剪枝引起的偏差，尤其是在类别不平衡的数据集上。
• 通过SVCCA分析模型相似性，解释剪枝模型中偏差产生的根本原因。
• 提供一种定量、客观且可扩展的替代方案，以替代现有度量指标（如PIEs）。

提出的方法

• 提出组合误差方差（CEV）作为度量指标，用于量化各类别间误差方差，以评估偏差预防的质量。
• 引入对称距离误差（SDE）作为对称且归一化的误差度量指标，实现对两个模型的直接比较。
• 应用最先进的知识蒸馏技术于剪枝模型，以减少偏差，即使在训练数据类别不平衡的情况下亦能实现。
• 使用奇异向量典型相关分析（SVCCA）测量剪枝模型与原始模型在各层特征表示间的相似性。
• 在多种剪枝方法与稀疏度水平下，比较CEV与SDE得分，以评估偏差缓解性能。
• 将SVCCA距离用作CEV的预测变量，以解释模型相似性与诱导偏差之间的关系。

实验结果

研究问题

• RQ1 如何在超越现有度量指标（如PIEs）的基础上，客观且定量地评估剪枝神经网络中的偏差？
• RQ2 知识蒸馏是否能有效减少剪枝引起的偏差，特别是在类别不平衡的数据集中？
• RQ3 模型相似性与剪枝神经网络中偏差水平之间存在何种关系？
• RQ4 高top-1准确率是否与低偏差相关？还是其他度量指标更具预测性？
• RQ5 基于SVCCA的相似性度量能否解释为何某些剪枝模型比其他模型产生更多偏差？

主要发现

• CEV与SDE优于PIEs，可在无需大量剪枝模型群体的前提下，实现对两个模型的直接、客观比较。
• 知识蒸馏显著降低了剪枝模型中的剪枝诱导偏差，即使在类别不平衡的数据集上亦然，表现为更低的CEV与SDE得分。
• 通过SVCCA测量的模型相似性，是在所有稀疏度水平与剪枝方法下对CEV最强的预测因子，表明与原始模型相似度越高，诱导的偏差越低。
• Top-1准确率是偏差的不良指标：在偏差数据集上top-1准确率最高的模型，往往在CEV与SDE得分上排名最差。
• SVCCA距离与CEV之间的相关性在不同数据集（CIFAR100、CIFAR10、Imagenette、Imagewoof）与模型架构（ResNet、VGG16）中均成立，证实其普适性。
• 与原始模型具有高特征相似性的剪枝模型始终表现出更低的偏差，表明保持表示保真度是实现公平性的关键。