[论文解读] On the Applicability of ML Fairness Notions.

Karima Makhlouf, Sami Zhioua+1 more|arXiv (Cornell University)|Jun 30, 2020

Ethics and Social Impacts of AI参考文献 71被引用 8

一句话总结

本文通過分析其與道德原則和實際約束的一致性，探討了機器學習公平性概念在現實世界中的適用性。論文提出了一套框架，用於根據其規範一致性、可行性及影響力來評估公平性定義，結論指出，許多廣泛使用的公平性概念在複雜的現實場景中缺乏堅實的論證基礎。

ABSTRACT

International audience

研究动机与目标

• 評估常見的機器學習公平性概念是否在現實世界場景中具有實際適用性。
• 識別理論公平性定義與其道德或操作可行性之間的差距。
• 基於規範嚴謹性、技術可行性與社會影響力，建立一套評估公平性概念的框架。
• 挑戰所有公平性定義在不同情境下均同等有效或可轉移的假設。

提出的方法

• 作者提出一個多維度評估框架，用於從規範、技術和情境三個維度評估公平性概念。
• 他們從道德原則和現實世界約束的角度，分析現有的公平性定義（例如：人口均等、等化機會）。
• 該框架結合定性與定量標準，包括邏輯一致性、可實施性及公平性權衡。
• 該方法包含多個案例研究，並對不同應用領域中的公平性定義進行比較分析。
• 核心組成部分包括公平性概念的分類體系以及用於評估其在特定情境下適用性的決策矩陣。

实验结果

研究问题

• RQ1 哪些公平性概念最符合道德原則與現實世界約束？
• RQ2 在實際部署場景中，主流公平性定義在嚴密審查下能維持到何種程度？
• RQ3 當從規範一致性與技術可行性等多個維度進行評估時，公平性概念表現如何？
• RQ4 能否建立一個統一框架，以指導實踐中公平性定義的選擇？

主要发现

• 許多廣泛使用的公平性概念缺乏規範一致性，且未能解決現實應用中的核心道德問題。
• 人口均等與等化機會常相互衝突，且與模型效能產生衝突，尤其在高風險領域中更為明顯。
• 即使理論上站得住腳的公平性定義，也可能因數據限制或測量挑戰而難以實施。
• 本研究識別出公平性理論與實際部署之間存在重大差距，特別是在刑事司法與醫療保健等領域。