[论文解读] Towards Threshold Invariant Fair Classification

Mingliang Chen, Min Wu|arXiv (Cornell University)|Jun 18, 2020

Ethics and Social Impacts of AI参考文献 19被引用 4

一句话总结

本文通过在敏感群体间均衡化风险评分分布，提出了一种对阈值不变的公平性方法，利用直方图近似和高斯假设使公平性对决策阈值变化具有鲁棒性。该方法显著降低了公平性度量（如DP和EO）在不同阈值下的方差，相较于基线约束模型，在一致性和稳定性方面表现更优。

ABSTRACT

Effective machine learning models can automatically learn useful information from a large quantity of data and provide decisions in a high accuracy. These models may, however, lead to unfair predictions in certain sense among the population groups of interest, where the grouping is based on such sensitive attributes as race and gender. Various fairness definitions, such as demographic parity and equalized odds, were proposed in prior art to ensure that decisions guided by the machine learning models are equitable. Unfortunately, the "fair" model trained with these fairness definitions is threshold sensitive, i.e., the condition of fairness may no longer hold true when tuning the decision threshold. This paper introduces the notion of threshold invariant fairness, which enforces equitable performances across different groups independent of the decision threshold. To achieve this goal, this paper proposes to equalize the risk distributions among the groups via two approximation methods. Experimental results demonstrate that the proposed methodology is effective to alleviate the threshold sensitivity in machine learning models designed to achieve fairness.

研究动机与目标

• 解决现有公平性定义（如人口均等、等化机会）对决策阈值调优敏感的局限性。
• 提出一种公平性概念，确保分类器在不同阈值调整下对各群体均表现公平。
• 提出两种可微方法——直方图近似和高斯假设，以均衡受保护群体之间的风险评分分布。
• 确保与逻辑回归和SVM等各类可微分类器兼容，支持集成到标准训练流程中。
• 证明在不牺牲模型准确率的前提下，公平性稳定性得以提升，尤其在动态阈值设置下表现更优。

提出的方法

• 将对阈值不变的公平性定义为强于分类均等的公平性条件，要求在所有决策阈值下保持一致的公平性。
• 使用直方图近似（HA）通过N个区间的直方图建模风险评分分布，并采用可微的高斯核近似实现基于梯度的优化。
• 应用高斯假设（GA）仅通过一阶和二阶矩（均值与方差）表示风险分布，将计算复杂度降低至O(M)。
• 将两种方法作为可微约束整合进逻辑回归和SVM等分类器的训练目标中。
• 使用随机梯度下降优化风险分布均衡化，支持与深度学习框架兼容的批量训练。
• 通过最小化群体间分布差异的同时保持模型准确率，确保训练过程中公平性约束被有效执行。

实验结果

研究问题

• RQ1 能否使机器学习中的公平性对决策阈值变化具有鲁棒性，超越现有分类均等的定义？
• RQ2 如何在敏感群体之间均衡化风险评分分布，以实现对阈值不变的公平性？
• RQ3 在建模风险分布均衡性时，计算效率与近似精度之间存在何种权衡？
• RQ4 与现有公平性感知训练方法相比，所提方法在不同决策阈值下能多大程度提升公平性一致性？
• RQ5 所提方法能否推广至不同类型的可微分类器，包括神经网络？

主要发现

• 与基线公平性约束模型相比，所提方法显著降低了公平性度量波动（ΔDP和ΔEO）在不同决策阈值下的方差与范围。
• 高斯假设（GA）方法在计算复杂度更低（O(M) vs. O(MN)）的前提下，实现了与直方图近似（HA）相当的公平性表现。
• 使用所提方法训练的分类器在公平性曲线上仅表现出微小波动，表明对阈值变化具有强鲁棒性。
• 所提方法在保持高准确率的同时提升了公平性稳定性，在对阈值不变的公平性度量上优于Zafar-DP和Zafar-EO。
• 该方法兼容批量训练，可扩展至多属性公平性与神经网络分类器。
• 实验结果证实，风险分布均衡化可带来更一致的公平性结果，尤其在动态阈值设置下表现更优。