[论文解读] Optimized Score Transformation for Fair Classification

Dennis Wei, Karthikeyan Natesan Ramamurthy+1 more|arXiv (Cornell University)|May 31, 2019

Ethics and Social Impacts of AI参考文献 21被引用 18

一句话总结

本文提出 FairScoreTransformer，一种后处理方法，通过最优地转换分类器得分以满足公平性约束，同时最小化效用损失。该方法利用凸优化和 ADMM 推导出得分转换的闭式解，在 Brier 评分和 AUC 等基于得分的指标上实现最先进性能，并在有限样本下具有渐近最优性能。

ABSTRACT

This paper considers fair probabilistic classification where the outputs of primary interest are predicted probabilities, commonly referred to as scores. We formulate the problem of transforming scores to satisfy fairness constraints that are linear in conditional means of scores while minimizing the loss in utility. The formulation can be applied either to post-process classifier outputs or to pre-process training data, thus allowing maximum freedom in selecting a classification algorithm. We derive a closed-form expression for the optimal transformed scores and a convex optimization problem for the transformation parameters. In the population limit, the transformed score function is the fairness-constrained minimizer of cross-entropy with respect to the optimal unconstrained scores. In the finite sample setting, we propose to approach this solution using a combination of standard probabilistic classifiers and ADMM. The transformation parameters obtained from the finite-sample procedure are shown to be asymptotically optimal. Comprehensive experiments comparing to 10 existing methods show that the proposed FairScoreTransformer has advantages for score-based metrics such as Brier score and AUC while remaining competitive for binary label-based metrics such as accuracy.

研究动机与目标

• 开发一种方法，将分类器得分转换为满足公平性约束，同时不损害预测效用。
• 通过优化以得分条件均值为线性关系的得分转换，实现在概率分类中的公平性。
• 提供一个灵活的框架，可同时应用于后处理分类器输出和预处理训练数据。
• 在公平性约束下最小化交叉熵损失，实现公平性与效用之间的最优权衡。
• 确保在有限样本设置下，转换参数具有渐近最优性。

提出的方法

• 将得分转换建模为凸优化问题，以在公平性约束下最小化交叉熵损失。
• 推导出在总体极限下最优转换得分的闭式解。
• 应用 ADMM 求解有限样本优化问题，确保收敛性与实际可实施性。
• 将标准概率分类器与转换模块集成，以保持模型灵活性。
• 使用对得分条件均值的线性公平性约束，以确保人口或群体公平性。
• 采用两阶段方法：先训练基础分类器，再应用转换以实现公平性。

实验结果

研究问题

• RQ1 能否推导出一种闭式得分转换方法，在公平性约束下最小化交叉熵损失？
• RQ2 如何在有限样本设置下估计转换参数，以确保渐近最优性？
• RQ3 所提出的方法是否在基于得分的评估指标上优于现有公平分类技术？
• RQ4 该方法在满足公平性约束的同时，能在多大程度上保持效用？
• RQ5 该框架能否灵活应用于后处理和预处理设置？

主要发现

• FairScoreTransformer 在基于得分的指标（如 Brier 评分和 AUC）上实现最先进性能，优于 10 种现有方法。
• 有限样本下的转换参数具有渐近最优性，随着样本量增加，收敛至总体解。
• 该方法在基于二元标签的指标（如准确率）上保持竞争力，展现出在各类评估标准下的均衡性能。
• 最优得分的闭式解是总体极限下受公平性约束的交叉熵最小化器。
• ADMM 的使用使得在实际场景中能够稳定且高效地优化转换参数。
• 该框架可灵活集成任意基础分类器，支持后处理与预处理应用。