[论文解读] The implicit fairness criterion of unconstrained learning

Lydia T. Liu, Max Simchowitz+1 more|arXiv (Cornell University)|Aug 29, 2018

Ethics and Social Impacts of AI被引用 35

一句话总结

本文表明，无约束机器学习由于其优化目标，隐式偏好群体校准——即在给定评分的情况下，预测条件独立于群体归属。它证明了校准偏差受学习模型的超额风险所限制，同时违反了分离性和独立性等其他公平性标准，凸显了在无约束学习中校准作为事实上的公平性标准。

ABSTRACT

We clarify what fairness guarantees we can and cannot expect to follow from unconstrained machine learning. Specifically, we characterize when unconstrained learning on its own implies group calibration, that is, the outcome variable is conditionally independent of group membership given the score. We show that under reasonable conditions, the deviation from satisfying group calibration is upper bounded by the excess risk of the learned score relative to the Bayes optimal score function. A lower bound confirms the optimality of our upper bound. Moreover, we prove that as the excess risk of the learned score decreases, it strongly violates separation and independence, two other standard fairness criteria. Our results show that group calibration is the fairness criterion that unconstrained learning implicitly favors. On the one hand, this means that calibration is often satisfied on its own without the need for active intervention, albeit at the cost of violating other criteria that are at odds with calibration. On the other hand, it suggests that we should be satisfied with calibration as a fairness criterion only if we are at ease with the use of unconstrained machine learning in a given application.

研究动机与目标

• 阐明在未施加显式公平性约束的情况下，无约束机器学习自然产生哪些公平性保障。
• 研究在标准风险最小化过程中，群体校准（即结果在给定评分下与群体条件独立）是否被隐式实现。
• 量化校准与其他公平性标准（如分离性和独立性）之间的权衡。
• 基于模型超额风险，建立校准偏差的理论边界，并通过实证方法加以验证。

提出的方法

• 将充分性与校准差距定义为偏离公平性标准的度量，其中充分性定义为 E[Y|f(X)] = E[Y|f(X), A] 几乎必然成立。
• 将充分性差距形式化为 E[|E[Y|f(X)] - E[Y|f(X), A]|]，将校准差距形式化为 E[|E[Y|f(X), A] - f(X)|]。
• 在弱正则性条件下，证明充分性差距由学习评分相对于贝叶斯最优评分的超额风险所上界限定。
• 建立一个下界，以确认该上界的紧致性，从而证实其最优性。
• 使用逻辑损失进行经验风险最小化，在 Adult 和 Broward 数据集上训练模型，通过评分的分位数分组法估计差距。
• 在多个群体属性（如种族、性别、年龄）上评估充分性、校准和分离差距，包括复合属性以及针对稀疏群体的分位数分组法。

实验结果

研究问题

• RQ1 在何种条件下，无约束学习隐式实现群体校准？
• RQ2 学习评分的超额风险与其校准偏差之间有何关系？
• RQ3 无约束学习在多大程度上违反了分离性和独立性标准？
• RQ4 校准偏差的理论边界是否能在真实世界数据集上通过实证方法验证？
• RQ5 无约束学习在多个可能重叠的群体属性上的表现如何变化？

主要发现

• 充分性差距——即在给定评分下结果与群体条件独立性的偏离程度——由学习评分相对于贝叶斯最优评分的超额风险所上界限定。
• 通过匹配的下界确认了充分性差距上界的紧致性，表明在相同风险条件下，没有其他算法能实现显著更优的校准性能。
• 随着超额风险降低，分离性和独立性标准的违反程度增加，揭示了校准与这些公平性标准之间存在根本性权衡。
• 在 Adult 和 Broward 数据集上的实证结果表明，无约束学习（如逻辑回归）在多个群体属性（包括种族、性别、年龄及复合特征）上实现了强校准。
• 在 Broward 数据集中，随着训练数据量增加，充分性差距减小，而分离差距稳定在约 0.05，表明分离性持续被违反。
• 对于小群体质量，校准边界性能下降，与理论预期一致；且经验充分性差距估计对分组选择敏感（如 10 组与 8 组），但 10 组分组足以在 Adult 数据集中实现可靠估计。