[论文解读] On the (im)possibility of fairness

Sorelle A. Friedler, Carlos Scheidegger+1 more|arXiv (Cornell University)|Sep 23, 2016

Ethics and Social Impacts of AI参考文献 22被引用 263

一句话总结

本论文为算法公平性开发了一个基于空间的形式化框架，引入构造空间、观测空间和决策空间，并展示公平性保证取决于对构造–观测关系的强烈世界观（WYSIWYG 与 WAE）的假设。它还定义了结构性偏见和歧视的概念，并分析在何种情况下可以保证公平或非歧视性机制。

ABSTRACT

What does it mean for an algorithm to be fair? Different papers use different notions of algorithmic fairness, and although these appear internally consistent, they also seem mutually incompatible. We present a mathematical setting in which the distinctions in previous papers can be made formal. In addition to characterizing the spaces of inputs (the "observed" space) and outputs (the "decision" space), we introduce the notion of a construct space: a space that captures unobservable, but meaningful variables for the prediction. We show that in order to prove desirable properties of the entire decision-making process, different mechanisms for fairness require different assumptions about the nature of the mapping from construct space to decision space. The results in this paper imply that future treatments of algorithmic fairness should more explicitly state assumptions about the relationship between constructs and observations.

研究动机与目标

• 将公平性建模为构造、观测和决策空间之间的变换的数学理论。
• 刻画空间如何相互作用以及扭曲如何影响公平性与歧视。
• 证明公平性保证需要对构造–观测映射的强假设。
• 区分不同的世界观（WYSIWYG 与 WAE）并将其与公平性概念和机制联系起来。
• 在严格的基于空间的设置中定义并量化结构性偏见及直接/非歧视。

提出的方法

• 用相关度量定义构造空间、观测空间和决策空间。
• 引入扭曲、耦合度量、Wasserstein距离和Gromov-Wasserstein距离来比较空间。
• 形式化地将公平性定义为构造空间与决策空间之间的接近性保持。
• 给出世界观：WYSIWYG（构造≈观测）和 WAE（we’re all equal）的含义及影响。
• 定义机制：个体公平机制（IFM）和群体公平机制（GFM）。
• 证明在 WYSIWYG 下，带扰动的 IFM 能产生公平性保证；在较弱假设下讨论局限性。

实验结果

研究问题

• RQ1 当决策映射在构造、观测和决策空间之间变化时，公平性如何形式化？
• RQ2 在何种假设下可以在这个三元空间框架中实现或失败公平性保证？
• RQ3 结构性偏见和群体差异如何影响空间之间的映射及由此产生的公平性结果？
• RQ4 不同的世界观（WYSIWYG vs. WAE）如何影响公平或无歧视机制的设计？

主要发现

• 公平性保证取决于对构造空间与观测空间之间关系的强假设。
• 在较小扭曲下，WYSIWYG 世界观可对合适的机制产生公平性保证。
• 结构性偏见可通过空间之间的群体偏斜量化，并影响非歧视评估。
• 在该空间框架中，个体公平机制和群体公平机制之间存在根本性区别。
• 大多数公平性方法隐含地假设特定的空间关系，而该框架将其显性化。