[论文解读] The Theory of Artificial Immutability: Protecting Algorithmic Groups Under Anti-Discrimination Law

Sandra Wachter|arXiv (Cornell University)|May 2, 2022

Discrimination and Equality Law被引用 11

一句话总结

本文提出了「人工不可变性理论」，以将反歧视法保护扩展至由人工智能系统生成的算法群体——这些社会群体虽无法律保护，但其功能类似于不可改变的特征。通过揭示这些群体如何限制自主权与人生机遇，该理论主张在现有非歧视法律框架下，特别是北美与欧洲司法管辖区，赋予其法律承认。

ABSTRACT

Artificial Intelligence (AI) is increasingly used to make important decisions about people. While issues of AI bias and proxy discrimination are well explored, less focus has been paid to the harms created by profiling based on groups that do not map to or correlate with legally protected groups such as sex or ethnicity. This raises a question: are existing equality laws able to protect against emergent AI-driven inequality? This article examines the legal status of algorithmic groups in North American and European non-discrimination doctrine, law, and jurisprudence and will show that algorithmic groups are not comparable to traditional protected groups. Nonetheless, these new groups are worthy of protection. I propose a new theory of harm - "the theory of artificial immutability" - that aims to bring AI groups within the scope of the law. My theory describes how algorithmic groups act as de facto immutable characteristics in practice that limit people's autonomy and prevent them from achieving important goals.

研究动机与目标

• 检验北美与欧洲现行反歧视法是否能够保护个人免受算法群体造成的伤害。
• 识别现行非歧视法律 doctrine 在应对基于非传统、非受保护群体的 AI 驱动画像时的法律与实践局限。
• 提出一项新法律理论——「人工不可变性」，将算法群体视为尽管缺乏正式法律地位，但事实上不可改变的特征。
• 展示算法群体如何限制个人自主权并阻碍个体实现关键人生目标，其影响与法律保护的不可变特征所造成的伤害相一致。
• 倡导通过基于现实影响而非正式法律类别的新型法律框架，将算法群体整合进反歧视法。

提出的方法

• 分析北美与欧洲法律体系的判例法、法律学说与法理学，以评估对非传统社会群体的处理方式。
• 识别算法群体与法律保护的不可变特征（如性别或种族）在结构与功能上的相似性。
• 基于算法群体成员身份的实际后果构建法律理论——特别是个体在实践中无法改变或摆脱其群体身份。
• 将「不可变性」概念不作为法律类别，而作为功能现实：个体被视作无法改变其群体身份，即使该群体是人为构建的。
• 主张法律体系应保护个人免受基于此类人工但功能上不可变类别的歧视。
• 通过比较法律分析表明，现有反歧视框架可通过重新诠释平等保护与非歧视等核心原则，适应性地纳入算法群体。

实验结果

研究问题

• RQ1 北美与欧洲现行反歧视法能否保护个人免受未正式列为受保护特征的算法群体歧视？
• RQ2 算法群体在被人工智能系统人为构建的情况下，如何在事实上发挥不可变特征的功能？
• RQ3 算法群体成员身份的社会与结构性后果，如何与法律保护的不可变特质所造成的伤害相呼应？
• RQ4 何种法律理论可弥合算法群体在非歧视法中形式上缺失与其实质影响之间在自主权与机会方面的鸿沟？
• RQ5 「人工不可变性」概念在多大程度上可被用于将法律保护扩展至受 AI 驱动画像伤害的个人？

主要发现

• 算法群体（如信贷评分或招聘中基于预测分析生成的群体）虽未在反歧视法中正式承认，但往往在实践中被视作不可改变，其影响与不可变特征无异。
• 受此类算法画像影响的个体面临显著的流动性与机会障碍，其处境与受法律保护群体成员所经历的障碍相似。
• 人工不可变性理论通过聚焦群体身份的现实影响而非法律分类，为法律保护提供了功能性基础。
• 尽管社会后果重大，北美与欧洲的法律体系目前缺乏应对算法群体伤害的学说工具。
• 该理论可在不需立法变更的情况下，实现对现有反歧视原则的重新诠释，以纳入算法群体。
• 该框架表明，歧视的核心伤害并非源于特征的法律地位，而在于其对个人生活造成的实际、不可逆的影响。