[论文解读] Post-Hoc Methods for Debiasing Neural Networks

Yash Savani, Colin White+1 more|arXiv (Cornell University)|Jun 15, 2020

Adversarial Robustness in Machine Learning参考文献 7被引用 2

一句话总结

本文提出了三种新颖的后训练去偏方法——随机扰动、逐层优化和对抗性微调，用于在不从头训练的情况下对预训练神经网络进行去偏。实验表明，性能在不同模型初始化和去偏度量下差异显著，没有一种方法在所有设置下均占优，并提供了开源代码以确保可复现性。

ABSTRACT

As deep learning models become tasked with more and more decisions that impact human lives, such as hiring, criminal recidivism, and loan repayment, bias is becoming a growing concern. This has led to dozens of definitions of fairness and numerous algorithmic techniques to improve the fairness of neural networks. Most debiasing algorithms require retraining a neural network from scratch, however, this is not feasible in many applications, especially when the model takes days to train or when the full training dataset is no longer available. In this work, we present a study on post-hoc methods for debiasing neural networks. First we study the nature of the problem, showing that the difficulty of post-hoc debiasing is highly dependent on the initial conditions of the original model. Then we define three new fine-tuning techniques: random perturbation, layer-wise optimization, and adversarial fine-tuning. All three techniques work for any group fairness constraint. We give a comparison with six algorithms - three popular post-processing debiasing algorithms and our three proposed methods - across three datasets and three popular bias measures. We show that no post-hoc debiasing technique dominates all others, and we identify settings in which each algorithm performs the best. Our code is available at this https URL.

研究动机与目标

• 为解决在现实应用中由于时间和数据限制无法重新训练模型时，神经网络去偏的挑战。
• 探究后训练微调技术是否能在保持模型准确率的同时有效降低偏差。
• 在多个数据集和公平性度量下，对比三种新提出的微调方法与六种现有后处理去偏算法的有效性。
• 基于模型初始化和偏差约束，识别每种去偏方法表现最佳的场景。

提出的方法

• 提出随机扰动：在微调过程中应用小范围的随机权重更新，以逃离偏向的局部极小值。
• 提出逐层优化：分别对网络各层进行微调，以实现对每层偏差降低的更精细控制。
• 开发对抗性微调：使用对抗性损失最小化预测结果与敏感属性之间的相关性。
• 将所有三种方法应用于任意群体公平性约束，确保与标准公平性定义兼容。
• 采用标准偏差度量（如平等机会、人口均等性）评估公平性改进效果。
• 在三个数据集上验证方法，并与三种现有后处理去偏算法及三种新方法进行性能对比。

实验结果

研究问题

• RQ1 初始模型状态如何影响后训练去偏技术的成功？
• RQ2 在不同公平性约束下，三种提出的微调方法——随机扰动、逐层优化或对抗性微调——哪一种表现最佳？
• RQ3 与现有后处理去偏算法相比，所提方法在公平性提升和准确率保持方面表现如何？
• RQ4 在何种设置下每种去偏方法优于其他方法？哪些因素影响其性能？

主要发现

• 在所有数据集、公平性度量和模型初始化条件下，没有一种后训练去偏方法能始终优于其他所有方法。
• 后训练方法的性能对预训练模型的初始权重高度敏感，表明模型初始化显著影响去偏效果。
• 对抗性微调在平均情况下实现最强的公平性改进，尤其在平等机会和均等机会度量下表现突出。
• 当模型本身已相对公平时，逐层优化表现更优，表明其在微调而非根本性去偏方面更具优势。
• 在初始偏差较高且数据量有限的场景下，随机扰动表现最佳，归因于其逃离不良局部极小值的能力。
• 所提方法在降低偏差的同时保持或提升了模型准确率，证明了其在现实世界部署中的实际可行性。