[论文解读] Toward Fairness in AI for People with Disabilities: A Research Roadmap

Anhong Guo, Ece Kamar+3 more|arXiv (Cornell University)|Jul 4, 2019

Assistive Technology in Communication and Mobility参考文献 40被引用 31

一句话总结

本文提出了一项研究路线图，以应对人工智能在残障人士中的公平性问题，识别现有AI系统中存在的风险——例如语音识别失败或有偏见的决策——这些风险可能导致残障人士被排除或受到伤害。文章呼吁开展包容性数据收集、构建基准数据集，并开发新型建模技术，以确保AI系统对不同残障群体都有效且公平。

ABSTRACT

AI technologies have the potential to dramatically impact the lives of people with disabilities (PWD). Indeed, improving the lives of PWD is a motivator for many state-of-the-art AI systems, such as automated speech recognition tools that can caption videos for people who are deaf and hard of hearing, or language prediction algorithms that can augment communication for people with speech or cognitive disabilities. However, widely deployed AI systems may not work properly for PWD, or worse, may actively discriminate against them. These considerations regarding fairness in AI for PWD have thus far received little attention. In this position paper, we identify potential areas of concern regarding how several AI technology categories may impact particular disability constituencies if care is not taken in their design, development, and testing. We intend for this risk assessment of how various classes of AI might interact with various classes of disability to provide a roadmap for future research that is needed to gather data, test these hypotheses, and build more inclusive algorithms.

研究动机与目标

• 识别当前AI系统因数据、设计或评估实践中的偏见，可能如何对残障人士造成失败或歧视。
• 强调在检测和缓解残障人士偏见方面面临的独特挑战，尤其是由于其代表性不足以及残障类型的‘长尾’特性。
• 倡导对包容性假设进行系统性测试，并创建伦理规范、具有代表性的基准数据集以服务残障人士。
• 探索针对多样化残障群体需求而定制的新型建模与偏见缓解技术。
• 强调从最初阶段就让残障人士参与定义使用场景、错误度量标准和公平性标准的重要性。

提出的方法

• 对主要AI系统类别（如自然语言处理、计算机视觉、语音识别）在不同残障类型（如言语障碍、认知障碍、运动功能障碍）中的风险进行评估。
• 基于其他边缘化群体的类比，提出潜在故障模式的假设——例如对非标准言语的识别能力差，或对自闭症个体的刻板印象。
• 倡导创建公开、伦理合规的基准数据集，以反映残障人士的多样性，包括罕见病症和交叉身份。
• 解决数据收集中的伦理挑战，包括对智力障碍者获取知情同意的问题，以及保护弱势群体的隐私。
• 探讨通用模型与个性化模型之间的权衡，指出定制模型（如针对聋人言语的模型）可能更有效，但更难规模化。
• 呼吁与残障人士共同设计，以定义错误度量标准、使用场景和公平性标准，确保系统满足实际需求。

实验结果

研究问题

• RQ1 现有AI系统在语音识别、自然语言处理和计算机视觉方面，如何未能有效服务残障人士？
• RQ2 当前的偏见缓解技术在残障人士中，尤其是代表数量少或多样性高的子群体中，其有效性如何？
• RQ3 为残障人士创建公开数据集时，会面临哪些伦理与实际挑战，如何负责任地应对？
• RQ4 能否使通用AI模型在所有残障类型中都实现公平，还是个性化是必要的？
• RQ5 如何让残障人士有意义地参与AI系统的设计、评估和政策制定，以确保公平与包容？

主要发现

• 许多现有AI系统，如语音激活助手，无法识别残障人士的言语，导致服务质量低下。
• AI系统可能放大有害刻板印象或将残障人士的输入误判为异常值，导致贬损或排斥。
• 有证据表明，评估情绪状态或人格特质的AI系统存在偏见，可能导致自闭症个体在招聘中遭遇不公平待遇。
• 由于代表性不足和交叉性残障的复杂性，当前的偏见缓解技术可能不足以应对残障人士的需求。
• 为残障人士创建具有代表性的数据集面临挑战，包括隐私顾虑、知情同意限制（尤其是认知障碍者），以及暴露脆弱个体的风险。
• 个性化模型在特定残障类型（如为聋人言语定制的自动语音识别）方面显示出潜力，但若不优先考虑可访问性和公平性，可能造成双轨制系统。