[论文解读] What Is Fairness? On the Role of Protected Attributes and Fictitious Worlds

Ludwig Bothmann, Kristina Peters+1 more|arXiv (Cornell University)|May 19, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文通过将公平性建立在哲学原则和因果推理的基础上，形式化了机器学习中的公平性，提出了一种虚构的、规范上理想（FiND）世界，在该世界中受保护属性（PAs）不具有因果影响。文章主张预测性能对于公平性至关重要，而非一种权衡，并引入了扭曲世界框架以近似FiND世界，从而在不使用受保护属性的情况下实现因果公平性评估，同时确保对不平等个体的公平但不平等的对待。

ABSTRACT

A growing body of literature in fairness-aware machine learning (fairML) aims to mitigate machine learning (ML)-related unfairness in automated decision-making (ADM) by defining metrics that measure fairness of an ML model and by proposing methods to ensure that trained ML models achieve low scores on these metrics. However, the underlying concept of fairness, i.e., the question of what fairness is, is rarely discussed, leaving a significant gap between centuries of philosophical discussion and the recent adoption of the concept in the ML community. In this work, we try to bridge this gap by formalizing a consistent concept of fairness and by translating the philosophical considerations into a formal framework for the training and evaluation of ML models in ADM systems. We argue that fairness problems can arise even without the presence of protected attributes (PAs), and point out that fairness and predictive performance are not irreconcilable opposites, but that the latter is necessary to achieve the former. Furthermore, we argue why and how causal considerations are necessary when assessing fairness in the presence of PAs by proposing a fictitious, normatively desired (FiND) world in which PAs have no causal effects. In practice, this FiND world must be approximated by a warped world in which the causal effects of the PAs are removed from the real-world data. Finally, we achieve greater linguistic clarity in the discussion of fairML. We outline algorithms for practical applications and present illustrative experiments on COMPAS data.

研究动机与目标

• 弥合哲学公平性论述数个世纪以来与现代公平感知机器学习（fairML）之间的鸿沟。
• 通过区分fairML的角色与社会政治及法律责任，厘清公平性的规范基础。
• 证明即使在没有受保护属性的情况下，公平性问题仍可能浮现，从而挑战公平性与预测性能之间存在权衡的普遍认知。
• 形式化一种虚构的、规范上理想的（FiND）世界，其中受保护属性（PAs）不具有因果影响，并提出一种扭曲世界近似方法以实现实际的公平性评估。
• 通过规范性规定和因果建模实现公平但不平等的对待（垂直公平性），避免单一标准公平性度量的陷阱。

提出的方法

• 基于平等对待和规范性规定的哲学框架，形式化公平性。
• 引入虚构的、规范上理想的（FiND）世界概念，在该世界中受保护属性（PAs）对结果无因果影响。
• 提出扭曲世界作为FiND世界的实用近似，通过从现实世界数据中移除PAs的因果影响来实现。
• 采用因果推断技术估计并消除PAs的因果影响，从而实现在扭曲世界中训练和评估机器学习模型。
• 基于反事实推理和个体校准性定义公平性标准，确保即使在无PAs的情况下模型仍具公平性。
• 为非机器学习专家提出一个三问规范性框架，以定义公平性目标，重点在于社会价值观而非仅技术度量。

实验结果

研究问题

• RQ1 如何一致地形式化并应用哲学上的公平性观念于自动化决策（ADM）中的机器学习？
• RQ2 在缺乏受保护属性（PAs）的情况下，ML模型中公平性问题在多大程度上仍可能浮现？
• RQ3 如何系统性地将因果推理整合到公平性评估与模型训练中，以确保规范上合理的成果？
• RQ4 预测性能在实现公平性中的作用是什么？为何它并非一种权衡，而是一种前提条件？
• RQ5 如何通过形式化的规范性规定和因果建模实现公平但不平等的对待（垂直公平性）？

主要发现

• 即使在没有受保护属性的情况下，ML模型中的公平性问题仍可能浮现，主要原因是个体校准性差，而非PAs的存在。
• 预测性能与公平性并不冲突，而是实现公平性的必要条件，从而挑战了常见的权衡叙事。
• 所提出的虚构的、规范上理想的（FiND）世界框架通过设想一个PAs无因果影响的世界，实现了对公平性的因果理解。
• 扭曲世界用于近似FiND世界，使在因果公平性约束下实现ML模型的实际训练与评估成为可能。
• 该框架通过规范性规定支持垂直公平性，实现对不平等个体的公平但不平等的对待，而不仅仅是平等对待。
• 该方法通过明确区分规范性决策（如定义公平性目标）与技术性ML实现，减少了公平性讨论中的模糊性。