[论文解读] The impossibility of "fairness": a generalized impossibility result for decisions

Thomas Miconi|arXiv (Cornell University)|Jul 5, 2017

Ethics and Social Impacts of AI参考文献 4被引用 17

一句话总结

本文證明了一個廣義的不可能性結果：當群組盛行率不同時，對於非完美且非平凡的預測器，公平性標準如相等機會、預測一致性與校準性無法同時滿足。核心貢獻在於形式化證明：在群組之間滿足任一項此三項公平性指標，必然會違反其他兩項，且此結果普遍適用於演算法與人類決策系統。

ABSTRACT

Various measures can be used to estimate bias or unfairness in a predictor. Previous work has already established that some of these measures are incompatible with each other. Here we show that, when groups differ in prevalence of the predicted event, several intuitive, reasonable measures of fairness (probability of positive prediction given occurrence or non-occurrence; probability of occurrence given prediction or non-prediction; and ratio of predictions over occurrences for each group) are all mutually exclusive: if one of them is equal among groups, the other two must differ. The only exceptions are for perfect, or trivial (always-positive or always-negative) predictors. As a consequence, any non-perfect, non-trivial predictor must necessarily be "unfair" under two out of three reasonable sets of criteria. This result readily generalizes to a wide range of well-known statistical quantities (sensitivity, specificity, false positive rate, precision, etc.), all of which can be divided into three mutually exclusive groups. Importantly, The results applies to all predictors, whether algorithmic or human. We conclude with possible ways to handle this effect when assessing and designing prediction methods.

研究动机与目标

• 探討在二元預測中，多項直覺上合理的公平性標準是否能在不同人口群組之間共存。
• 識別當群組盛行率不同時，阻止多項公平性標準同時達成的數學約束。
• 證明對於任何非完美且非平凡的預測器，若滿足一項公平性標準，必然會違反其他兩項。
• 將此不相容性推廣至知名統計指標，如敏感度、特異度、精確度與假陽性率。
• 透過釐清不同公平性定義之間的固有權衡，為設計更公平的決策系統提供參考。

提出的方法

• 使用基本機率公理與貝氏定理，推導公平性指標之間的關係。
• 分析三項公平性標準：(1) 相等機會（P(Pred|Y) 與 P(Pred|¬Y) 在群組間相等），(2) 預測一致性（P(Y|Pred) 與 P(Y|¬Pred) 在群組間相等），(3) 校準性（P(Pred)/P(Y) 相等）。
• 顯示若測量指標1與2在群組間相等，則由於 P(Y) 不同，P(Pred)/P(Y) 必然會變動，除非假陽性與假陰性率為零。
• 透過反證法證明：若任一指標在群組間相等，將導致其他兩項不相等，除非處於平凡或完美預測器的情況。
• 透過將統計量分類至三組互斥的公平性類別，將結果推廣至更廣泛的統計量。
• 將分析應用於演算法與人類預測器，顯示此結果具有普遍適用性。

实验结果

研究问题

• RQ1 當群組盛行率不同時，非完美且非平凡的預測器是否能同時滿足所有三項公平性指標——相等機會、預測一致性與校準性？
• RQ2 何種數學約束阻止了在二元預測系統中多項公平性標準的共存？
• RQ3 群組之間不同的基礎率如何本質上破壞多項直覺公平性定義的公平性？
• RQ4 預測器準確度的提升在多大程度上能減少公平性指標之間的不相容性？
• RQ5 是否存在可行的替代方案以同時滿足所有公平性標準？其間的權衡為何？

主要发现

• 當被預測事件的群組盛行率不同時，任何非完美且非平凡的預測器均無法同時滿足三項公平性標準：相等機會、預測一致性與校準性。
• 在群組間相等化相等機會（測量指標1）必然導致校準性（測量指標3）不相等，除非假陽性率為零——這在非平凡預測器中不可能實現。
• 在群組間相等化預測一致性（測量指標2）會導致校準性（測量指標3）不相等，這是因為 P(Y)/P(Pred) 對 P(Pred) 呈單調依賴關係。
• 公平性指標之間的不相容性不僅限於特定模型，而是普遍適用於所有預測器，包括人類決策。
• 此結果可推廣至知名統計量：敏感度、特異度、精確度、假陽性率等，這些指標可分類至三組互斥的公平性群組。
• 唯有完美預測器（零誤差）是唯一能在盛行率差異下，使三項公平性指標在群組間同時相等的情況。