[论文解读] On Formalizing Fairness in Prediction with Machine Learning

Pratik Gajane, Pechenizkiy, Mykola|arXiv (Cornell University)|Oct 9, 2017

Ethics and Social Impacts of AI参考文献 57被引用 162

一句话总结

本综述分析在机器学习预测中公平性的形式化方式，将每种形式化与社会科学中的分配正义概念联系起来，并讨论批评与未来方向。

ABSTRACT

Machine learning algorithms for prediction are increasingly being used in critical decisions affecting human lives. Various fairness formalizations, with no firm consensus yet, are employed to prevent such algorithms from systematically discriminating against people based on certain attributes protected by law. The aim of this article is to survey how fairness is formalized in the machine learning literature for the task of prediction and present these formalizations with their corresponding notions of distributive justice from the social sciences literature. We provide theoretical as well as empirical critiques of these notions from the social sciences literature and explain how these critiques limit the suitability of the corresponding fairness formalizations to certain domains. We also suggest two notions of distributive justice which address some of these critiques and discuss avenues for prospective fairness formalizations.

研究动机与目标

• 综述机器学习预测文献中公平性的形式化方式。
• 将ML公平性概念映射到社会科学中的分配正义概念。
• 利用社会科学文献对每种公平性形式化进行批评。
• 提出来自社会科学的两个前瞻性公平性概念用于未来研究。

提出的方法

• 回顾并对ML公平性概念进行分类（不知情/无知原则、反事实公平、群体公平、个体公平、机会平等、基于偏好的公平）。
• 用形式定义解释每个概念及其与分配正义理论的联系。
• 提供每种概念的社会科学批评（偏见、局限、领域适用性）。
• 讨论两个前瞻性概念（资源平等；能力实现的平等）及其在ML中的潜在形式化。
• 交叉引用相关文献与经验考量以评估在不同领域的适用性。

实验结果

研究问题

• RQ1 在预测性决策的文献中，存在哪些ML公平性形式化？
• RQ2 这些ML概念如何与社会科学中的分配正义理论对齐或冲突？
• RQ3 每种公平性形式化的批评是什么，以及它们在哪些领域可能不适用？
• RQ4 哪些社会科学概念可以启发更强健的ML公平性新形式化？
• RQ5 将资源平等或能力平等融入ML公平框架的途径有哪些？

主要发现

• 公平性形式化在是否以平等性（parity）还是偏好（preferences）、对待方式（treatment）还是影响（impact）、以及群体概念与个体概念之间存在差异。
• 群体公平依赖于独立于真实标签的统计或人口统计平等，可能错误地评估资质与效率。
• 反事实公平使用因果推理，但可能易受偏见与因果关系挑战影响。
• 个体公平将输出与距离度量相关联，但依赖于非歧视性度量，难以保证。
• 机会平等受到批评：未能解决影响个人生活前景的更广泛社会因素。
• 作者提出资源平等和能力实现的平等作为前瞻性公平性概念，以解决这些局限性。