[论文解读] Review of Mathematical frameworks for Fairness in Machine Learning

Eustasio del Barrio, Paula Gordaliza+1 more|arXiv (Cornell University)|May 26, 2020

Ethics and Social Impacts of AI参考文献 95被引用 20

一句话总结

本文对机器学习中的公平性定义及公平学习方法进行了数学综述，聚焦于基于独立性的公平性准则，如统计均等和机会均等。在高斯线性模型下，推导了机会均等条件下的最优公平分类器与预测器，通过闭式表达式和基于对偶的优化方法量化了性能权衡——‘公平性代价’。

ABSTRACT

A review of the main fairness definitions and fair learning methodologies proposed in the literature over the last years is presented from a mathematical point of view. Following our independence-based approach, we consider how to build fair algorithms and the consequences on the degradation of their performance compared to the possibly unfair case. This corresponds to the price for fairness given by the criteria $ extit{statistical parity}$ or $ extit{equality of odds}$. Novel results giving the expressions of the optimal fair classifier and the optimal fair predictor (under a linear regression gaussian model) in the sense of $ extit{equality of odds}$ are presented.

研究动机与目标

• 从严格的概率与统计视角，系统性地回顾机器学习中公平性的数学框架。
• 将公平性形式化为敏感属性与预测结果之间的条件独立性约束，以统计均等和机会均等作为核心准则。
• 量化在分类与回归任务中施加公平性约束时的性能下降——即‘公平性代价’。
• 在高斯线性模型下，推导机会均等准则下的最优公平分类器与预测器的闭式表达式。
• 建立公平性约束与优化对偶性之间的理论联系，从而实现公平模型的高效计算。

提出的方法

• 将公平性表述为条件独立性约束：预测结果必须在给定真实标签的条件下与敏感属性独立，从而定义机会均等。
• 采用对偶优化框架，通过引入公平性约束的拉格朗日乘子，推导最优公平分类器。
• 将最优分类器表示为基于条件概率与公平性惩罚的阈值决策规则的指示函数。
• 应用对偶理论，将约束优化问题转化为对偶问题，从而在高斯假设下获得解析解。
• 通过次梯度（在正则条件下）建立一阶最优性条件，导出不同群体间真正例率与假正例率之间的平衡方程。
• 以回归函数 η(x,s) = P(Y=1|X=x,S=s) 为基础，推导在公平性约束下的最优决策规则。

实验结果

研究问题

• RQ1 当将公平性框架化为独立性准则时，其在机器学习中的数学结构是什么？
• RQ2 在高斯线性模型下，如何在机会均等约束下解析推导最优公平分类器？
• RQ3 在统计均等或机会均等条件下，施加公平性约束的性能代价——即‘公平性代价’——如何量化？
• RQ4 对偶公式中的拉格朗日乘子如何与公平性约束及群体特定的误差率相关联？
• RQ5 在具有公平性约束的线性回归高斯模型下，最优公平预测器能否以闭式表达？

主要发现

• 在机会均等条件下的最优公平分类器由一个涉及回归函数与公平性拉格朗日乘子的阈值决策规则的指示函数给出。
• 公平性代价被量化为最优公平分类器与贝叶斯分类器之间期望损失的差异，并在高斯模型下获得了显式表达式。
• 当 λ₀ = 0 时，所推导的最优分类器退化为先前工作中提出的等机会分类器，验证了与现有文献的一致性。
• 最优公平分类器满足机会均等条件：在 S=0 与 S=1 两组中，真正例率与假正例率相等。
• 对偶问题的最优性条件导出平衡方程，将决策规则在各群体中的期望联系起来，确保条件概率的公平性。
• 通过对偶性证明，该解在所有公平分类器中为最优，表明所推导的分类器在公平性约束下最小化了期望损失。