[论文解读] On Fairness and Calibration
本论文分析在最小化不同人群组的误差差异与维持校准概率估计之间的张力，证明校准与广义等错值约束不兼容，并提出一种保持校准的放宽策略，结合信息保留的后处理方法以实现等成本约束。
The machine learning community has become increasingly concerned with the potential for bias and discrimination in predictive models. This has motivated a growing line of work on what it means for a classification procedure to be "fair." In this paper, we investigate the tension between minimizing error disparity across different population groups while maintaining calibrated probability estimates. We show that calibration is compatible only with a single error constraint (i.e. equal false-negatives rates across groups), and show that any algorithm that satisfies this relaxation is no better than randomizing a percentage of predictions for an existing classifier. These unsettling findings, which extend and generalize existing results, are empirically confirmed on several datasets.
研究动机与目标
- 在敏感领域对预测分类中的公平性进行研究的动机。
- 在具有不同基线率的群体之间，为概率分类器形式化校准和等化机会（Equalized Odds）。
- 研究校准是否能够与放宽的错误率约束共存并刻画可行性。
- 提供一种后处理方法，在等成本约束下实现校准并分析其含义。
- 在真实数据集上对校准公平性与未校准方法进行实证评估。
提出的方法
- 将等化赔率框架扩展到具有两个群体且基线率不同的概率分类器。
- 为已校准的概率输出定义广义的假阳性率和假阴性率。
- 将校准约束表征为 FP 与 FN 之间的线性关系（FP/FN 空间中的直线）。
- 给出不可能性结果：在通常情况下，只有当分类器完美时，校准与等化赔率才可能共存。
- 引入一种带有校准的放宽版等化赔率，使用将 FP 和 FN 与分组特定权重相结合的代价函数 g_t。
- 提出一种后处理算法，通过对部分预测进行随机化来实现等成本，同时保持校准。
- 证明可行性条件并分析信息隐瞒方法的最优性。
- 提供理论结果，包括针对多个等成本约束的不可能性定理，以及在放宽框架下的唯一可行解。
实验结果
研究问题
- RQ1经过校准的概率分类器是否能在不同基线率的群体之间满足等化赔率？
- RQ2哪些放宽的等化赔率可以保持校准，以及在何种条件下它们是可行的？
- RQ3是否存在在等成本约束下实现校准的后处理方法及其对公平性与个体效用的影响？
- RQ4在真实数据集上将校准后的公平性与未校准的等化赔率进行比较时，经验上会怎样？
主要发现
- 校准与等化赔率通常不兼容，除非在简单（完美）情况下。
- 通过后处理对某些预测进行随机化来实现单一等成本约束的放宽框架，并保持校准。
- 在放宽约束下存在唯一解，通过对预测进行随机化以在各组之间实现等成本来实现。
- 一般性的不可能性表明，在校准的同时满足多组不同的等成本约束将迫使达到完美准确。
- 在收入预测、健康预测和再犯预测数据集上的实证评估显示权衡：校准可能提高总体错误率并根据情景改变差异。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。