[论文解读] What If I Don't Like Any Of The Choices? The Limits of Preference Elicitation for Participatory Algorithm Design

Samantha Robertson, Niloufar Salehi|arXiv (Cornell University)|Jul 13, 2020

Ethics and Social Impacts of AI参考文献 21被引用 9

一句话总结

本文批判了在学生分派系统中基于偏好的参与式算法设计，认为依赖家庭（尤其是边缘化群体）的排序偏好会强化既有不平等，并限制民主参与。以旧金山联合学区（SFUSD）的算法为案例研究，表明偏好聚合无法实现分配正义，呼吁采用更具表现力、情境敏感且具协商性的利益相关者参与形式，而非简单的排序偏好。

ABSTRACT

Emerging methods for participatory algorithm design have proposed collecting and aggregating individual stakeholder preferences to create algorithmic systems that account for those stakeholders' values. Using algorithmic student assignment as a case study, we argue that optimizing for individual preference satisfaction in the distribution of limited resources may actually inhibit progress towards social and distributive justice. Individual preferences can be a useful signal but should be expanded to support more expressive and inclusive forms of democratic participation.

研究动机与目标

• 挑战一种假设，即仅凭个体偏好即可指导高风险系统（如学校分派）中的公平算法设计。
• 揭示像SFUSD的学生分派算法这样的系统中，偏好聚合如何加剧种族隔离与边缘化。
• 论证排序偏好是一种狭隘、不平等且带有偏见的参与形式，会排除边缘化群体的声音。
• 提出将参与式算法设计从偏好排序扩展至协商、参数输入及价值表达等更广泛形式。
• 倡导支持包容性、情境敏感且关注权力关系的民主治理模式，以促进算法决策中的公平参与。

提出的方法

• 以SFUSD学生分派算法为案例研究，分析基于偏好的匹配系统。
• 考察延迟接受（deferred acceptance）与顶配循环（top-trading cycles）等算法，这些算法旨在优化学生偏好。
• 评估排序偏好列表在捕捉复杂价值观、实际需求与结构性不公方面的局限性。
• 提出替代性参与机制：对学校因素的加权优先排序、对系统参数的输入，以及社区协商。
• 借鉴赫希曼（Hirschman）的退出-忠诚-发声（exit-loyalty-voice）框架，将参与视为超越简单选项排序的活动。
• 强调技术工具（如模拟）在政策制定中的作用，但呼吁让家庭与社区更广泛地获取此类工具。

实验结果

研究问题

• RQ1 基于偏好的算法系统（如SFUSD的学生分派流程）如何再现现有的社会不平等？
• RQ2 排序偏好列表在多大程度上准确反映了利益相关者在资源分配中的价值观、需求与目标？
• RQ3 为何偏好聚合不足以实现算法治理中的分配正义？
• RQ4 哪些替代性参与形式能更好地支持民主、包容且公平的算法设计？
• RQ5 如何利用技术工具与公共协商，将有意义的利益相关者参与从简单排序扩展至更深层次？

主要发现

• 尽管SFUSD学生分派算法旨在优化学生偏好，却加剧了隔离现象，未能实现公平结果。
• 排序偏好列表是一种粗糙且不平等的机制，使资源较少的家庭在研究学校时处于劣势。
• 偏好聚合本身并不反映集体福祉或正义，因为个体偏好往往反映并再生产系统性偏见。
• 该算法通过允许家庭‘发声’偏好，制造了民主的假象，却限制了其挑战结构性不公的能力。
• 技术模拟（如Kasman在2014年的研究）在政策制定中发挥了关键作用，但此类工具对大多数家庭仍难以获取。
• 更具表现力的参与形式（如对学校因素的加权优先排序或社区协商）对于实现包容性算法治理至关重要。