[论文解读] Non-portability of Algorithmic Fairness in India

Nithya Sambasivan, Erin Arnesen+2 more|arXiv (Cornell University)|Dec 3, 2020

Ethics and Social Impacts of AI参考文献 21被引用 14

一句话总结

本文主张，由于结构性、文化性和基础设施上的差异，以西方为中心的算法公平性框架在印度不适用。基于36位专家访谈与政策分析，本文提出通过重新语境化数据与模型、赋能边缘化群体、构建公平的生态系统，重新构想Fair-ML，拒绝仅靠技术性修正实现表面公平，转而推动系统性变革。

ABSTRACT

Conventional algorithmic fairness is Western in its sub-groups, values, and optimizations. In this paper, we ask how portable the assumptions of this largely Western take on algorithmic fairness are to a different geo-cultural context such as India. Based on 36 expert interviews with Indian scholars, and an analysis of emerging algorithmic deployments in India, we identify three clusters of challenges that engulf the large distance between machine learning models and oppressed communities in India. We argue that a mere translation of technical fairness work to Indian subgroups may serve only as a window dressing, and instead, call for a collective re-imagining of Fair-ML, by re-contextualising data and models, empowering oppressed communities, and more importantly, enabling ecosystems.

研究动机与目标

• 探究将西方算法公平性模型应用于印度复杂社会技术语境时的局限性。
• 识别阻碍印度边缘化群体从机器学习系统中真正受益的系统性障碍。
• 挑战在非西方语境中仅通过技术模型调整即可实现公平性的假设。
• 倡导一种重新构想的Fair-ML，其核心是本地机构、价值观与权力结构，而非照搬西方公平性范式。

提出的方法

• 对来自计算机科学、法律、社会学、新闻学等不同学科的印度学者、活动家与从业者进行了36次深入的定性访谈。
• 分析2009年以来的印度政策文件、新闻报道及基层关于人工智能部署的讨论，以识别算法治理与排斥的模式。
• 采用主题分析法并配合迭代式编码手册，识别出三类核心挑战：数据与模型假设的缺陷、机器学习开发者与机构之间的疏离、以及薄弱的制度支持结构。
• 应用三条路径框架——再语境化、赋能、赋能——将公平重新定义为集体性的社会技术责任。
• 采用严格的研究伦理协议，包括知情同意、匿名化与数据加密，以保护敏感情境下的参与者。
• 整合关于印度社会等级制度（如种姓、性别、宗教）的二次数据，以映射机器学习系统中的代理指标与伤害。

实验结果

研究问题

• RQ1 印度在基础设施、文化与制度上的差异如何削弱西方算法公平性框架的可移植性？
• RQ2 哪些关键的结构性与系统性障碍阻碍了印度边缘化群体获取或受益于公平的机器学习系统？
• RQ3 印度的数据收集实践与模型假设在多大程度上反映并强化了既有的社会不平等，特别是基于种姓、性别与阶级的不平等？
• RQ4 在印度等非西方语境中，如何通过社区赋能与制度重构，重新构想机器学习中的公平性？

主要发现

• 西方公平性度量标准（如Fitzpatrick量表）在印度失效，因其对肤色多样性的代表性不足，尤其影响达利特人、哈迪瓦斯等边缘群体。
• 数据失真源于广泛存在的女性共用SIM卡等实践，这破坏了机器学习训练中对个体数据真实性的假设。
• 面部识别中的模型性能差距因姓氏、居住地与语言等代理指标而加剧，这些指标在印度与种姓和宗教存在强相关性。
• 技术公平性评估中缺乏正式的肯定性行动机制（如保留配额），导致印度法律公平与算法公平之间出现错位。
• 机器学习开发者中存在的功利主义心态将印度用户视为被动的数据源，导致边缘化群体在遭受损害时缺乏救济途径或补救机制。
• 现有制度基础设施——如可及的法律体系、媒体监督与公民社会监督——在印度往往缺失或无效，难以实现对算法伤害的责任追究。