[论文解读] Tackling Algorithmic Bias in Neural-Network Classifiers using Wasserstein-2 Regularization

Laurent Risser, Sanz, Alberto Gonzalez+2 more|arXiv (Cornell University)|Aug 15, 2019

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出一种基于Wasserstein-2的正则化方法，通过惩罚敏感子群体间预测误差的差异，以减少神经网络图像分类器中的算法偏见。该方法与网络架构无关，可扩展至大规模数据集，并利用Gâteaux导数高效反向传播公平性约束，在最优调优下显著提升公平性（DI > 0.8），同时仅造成极小的准确率损失。

ABSTRACT

The increasingly common use of neural network classifiers in industrial and social applications of image analysis has allowed impressive progress these last years. Such methods are however sensitive to algorithmic bias, i.e. to an under- or an over-representation of positive predictions or to higher prediction errors in specific subgroups of images. We then introduce in this paper a new method to temper the algorithmic bias in Neural-Network based classifiers. Our method is Neural-Network architecture agnostic and scales well to massive training sets of images. It indeed only overloads the loss function with a Wasserstein-2 based regularization term for which we back-propagate the impact of specific output predictions using a new model, based on the Gateaux derivatives of the predictions distribution. This model is algorithmically reasonable and makes it possible to use our regularized loss with standard stochastic gradient-descent strategies. Its good behavior is assessed on the reference Adult census, MNIST, CelebA datasets.

研究动机与目标

• 解决深度神经网络分类器中的算法偏见问题，特别是在图像识别任务中，预测误差或输出在敏感子群体间系统性地存在偏差。
• 开发一种与任何神经网络架构兼容且能高效扩展至大规模图像数据集的公平性正则化方法。
• 通过使用预测分布的Gâteaux导数的新型梯度近似，实现公平性约束的有效反向传播。
• 在基准数据集（Adult、MNIST、CelebA）上实证验证该方法，并证明其在不显著损失预测性能的前提下提升了公平性。

提出的方法

• 基于敏感变量定义的两个子群体之间预测误差分布的Wasserstein-2距离，引入公平性惩罚项。
• 利用Gâteaux导数对Wasserstein-2惩罚项的梯度进行解析近似，从而在随机梯度下降中实现高效反向传播。
• 通过添加加权正则化项修改标准损失函数，以鼓励不同敏感子群体间具有相似的预测误差。
• 采用小批量估计Wasserstein-2距离，以在大规模数据集训练过程中保持计算效率。
• 将该方法应用于二分类与多分类任务，并将回归和非二值输出作为未来工作的扩展方向。
• 在CelebA、MNIST和Adult数据集上使用Disparity Index（DI）和均方误差（MSE）等公平性指标验证该方法。

实验结果

研究问题

• RQ1 能否将基于Wasserstein-2的正则化项有效集成到标准深度学习训练流程中，以减少图像分类器中的算法偏见？
• RQ2 所提出的方法在平衡公平性（以DI衡量）与预测准确率（以MSE衡量）方面表现如何，特别是在不同敏感子群体之间？
• RQ3 当应用于包含数百万样本的大规模图像数据集时，该方法在可扩展性和效率方面能达到何种程度？
• RQ4 正则化权重λ的选择如何影响公平性与模型准确率之间的权衡？
• RQ5 该方法能否产生与底层数据分布一致的连贯且可解释的公平性改进，例如面部属性中的年龄或性别分布不平衡？

主要发现

• 当正则化权重λ设置在[3.5e-3, 5.5e-3]范围内时，该方法可实现DI > 0.8的公平性水平，且预测准确率损失极小。
• 当λ > 6e-3时，模型变得不稳定，MSE上升且公平性指标波动，表明存在一个最优的权衡窗口。
• 在λ ≈ 4.5e-3时，该方法可实现公平结果（DI > 0.8），但MSE较高，表明在优先考虑公平性时存在性能权衡。
• 正则化有效重分配了预测结果：在年长群体中，佩戴眼镜者和肤色较深者的吸引力评分被提高，与训练数据分布一致。
• 当λ > 5e-3时，良好预测比例（GP0/GP1）接近1，表明各子群体间的错误率保持平衡。
• 该方法成功减少了CelebA数据集中的偏见，通过纠正人口统计不平衡，例如年长个体中眼镜频率更高以及男性在年长群体中占比更高的现象。