[论文解读] On the Legal Compatibility of Fairness Definitions

Alice Xiang, Inioluwa Deborah Raji|arXiv (Cornell University)|Nov 25, 2019

Ethics and Social Impacts of AI参考文献 23被引用 27

一句话总结

本文批判了机器学习（ML）公平性定义与美国反歧视法律之间的错位，表明常见的ML公平性概念——如歧视、受保护群体和程序公平性——往往歪曲或简化了法律概念。文章主张公平性研究应与法律兼容，以确保现实世界的影响和问责性，并提出机器学习与法律界应合作，使技术公平性与法律标准保持一致。

ABSTRACT

Past literature has been effective in demonstrating ideological gaps in machine learning (ML) fairness definitions when considering their use in complex socio-technical systems. However, we go further to demonstrate that these definitions often misunderstand the legal concepts from which they purport to be inspired, and consequently inappropriately co-opt legal language. In this paper, we demonstrate examples of this misalignment and discuss the differences in ML terminology and their legal counterparts, as well as what both the legal and ML fairness communities can learn from these tensions. We focus this paper on U.S. anti-discrimination law since the ML fairness research community regularly references terms from this body of law.

研究动机与目标

• 识别并分析机器学习公平性术语与美国反歧视法实际法律定义之间的错位。
• 阐明机器学习公平性研究如何常常歪曲歧视、受保护群体和因果关系等法律概念。
• 论证法律兼容性对于确保机器学习公平性研究具有现实世界影响和法律可执行性至关重要。
• 提出机器学习与法律界应相互学习，以改进算法系统中的公平性框架。
• 鼓励机器学习与法律学者合作，使技术公平性与法律标准及治理框架保持一致。

提出的方法

• 分析机器学习文献中的关键公平性术语（如歧视、受保护群体、程序公平性），并与美国反歧视法中的法律对应概念进行对比。
• 利用法律判例和法规框架（如《民权法案》、《公平住房法》、《美国残疾人法》）说明法律对歧视的定义强调意图、因果关系和领域特定性。
• 将ML概念如‘无意识的公平性’与法律原则如反从属关系（anti-subordination）进行对比，后者可正当化为纠正历史不公而采取的不平等对待。
• 审视偏差测量技术的法律影响，特别是审计和模型评估中使用受保护属性的问题。
• 突出法律因果关系（例如‘因受保护身份而’）与ML中使用的统计代理变量之间的差距。
• 建议机器学习研究应通过阐明算法因果关系在法庭和监管环境中的评估方式，来为法律政策提供支持。

实验结果

研究问题

• RQ1 机器学习公平性对‘歧视’的定义与美国反歧视法中的法律定义有何不同？
• RQ2 机器学习公平性概念如‘受保护群体’在多大程度上准确反映了法律保护的范围和对称性？
• RQ3 为何法律中的反从属原则（即为纠正系统性等级制度而正当化不平等对待）在机器学习公平性文献中几乎未被提及，尽管其与去偏技术可能具有潜在一致性？
• RQ4 反歧视法中的法律因果关系概念如何与机器学习公平性评估中使用的统计代理变量产生冲突？
• RQ5 机器学习公平性领域在哪些方面可以支持法律体系理解并评估算法因果关系？

主要发现

• 机器学习公平性定义常将法律上的歧视简化为基于结果的相关性，忽略了法律对意图和因果关系的重点强调。
• 受保护群体的法律保护具有对称性——白人和男性原告也曾成功依据反歧视法提起诉讼，这挑战了‘仅边缘群体受保护’的假设。
• 法律中的反从属原则（即为纠正系统性等级制度而正当化不平等对待）在机器学习公平性研究中极少被承认，尽管其与去偏技术具有潜在契合性。
• 在公平性测量中使用受保护属性在技术上是合理的，但在法律上存在争议，因为法院通常限制此类数据的使用，从而在可审计性与合规性之间制造张力。
• 法律因果关系（定义为决策‘因受保护身份而’）无法从模型中受保护变量的存在或缺失可靠推断，这削弱了当前‘安全港’提议的有效性。
• 当前的机器学习实践如‘无意识的公平性’可能与法律标准相冲突，因其在未解决偏见的结构性或因果驱动因素的情况下移除了受保护属性。