[论文解读] Overcoming Failures of Imagination in AI Infused System Development and Deployment

Margarita Boyarskaya, Alexandra Olteanu+1 more|arXiv (Cornell University)|Nov 26, 2020

Ethics and Social Impacts of AI参考文献 35被引用 19

一句话总结

本文通过倡导上下文感知、利益相关者参与的框架，应对人工智能系统开发中的‘想象力局限’问题，超越基于清单的影响评估。该文提出整合社会技术功能、多元利益相关者及更广泛的伤害代理指标，以提升对人工智能系统中非预期后果的预见能力。

ABSTRACT

NeurIPS 2020 requested that research paper submissions include impact statements on "potential nefarious uses and the consequences of failure." However, as researchers, practitioners and system designers, a key challenge to anticipating risks is overcoming what Clarke (1962) called 'failures of imagination.' The growing research on bias, fairness, and transparency in computational systems aims to illuminate and mitigate harms, and could thus help inform reflections on possible negative impacts of particular pieces of technical work. The prevalent notion of computational harms -- narrowly construed as either allocational or representational harms -- does not fully capture the open, context dependent, and unobservable nature of harms across the wide range of AI infused systems.The current literature focuses on a small range of examples of harms to motivate algorithmic fixes, overlooking the wider scope of probable harms and the way these harms might affect different stakeholders. The system affordances may also exacerbate harms in unpredictable ways, as they determine stakeholders' control(including of non-users) over how they use and interact with a system output. To effectively assist in anticipating harmful uses, we argue that frameworks of harms must be context-aware and consider a wider range of potential stakeholders, system affordances, as well as viable proxies for assessing harms in the widest sense.

研究动机与目标

• 应对在预见人工智能系统有害用途方面长期存在的‘想象力局限’挑战，特别是当这些危害在事前不可预测时。
• 批判当前影响评估实践的局限性，尤其是NeurIPS的更广泛社会影响声明，其往往依赖于狭隘、预设的清单，忽视了伤害的系统性与情境维度。
• 主张现有伤害框架（如分配性或代表性伤害）不足以捕捉人工智能融合系统中伤害的开放性、情境依赖性以及常常不可见的特性。
• 强调在设计与评估过程中，需推动跨学科合作、反思性实践，并纳入弱势利益相关者，以拓展风险预见的想象空间。
• 提出应从技术官僚式、清单驱动的影响声明，转向更具动态性、情境敏感性的框架，以考量系统功能、利益相关者能动性以及不断演变的社会技术动态。

提出的方法

• 分析20篇NeurIPS 2020论文的更广泛影响声明，识别其在预见与传达伤害方面存在的重复模式与局限性。
• 借鉴批判理论、负责任创新与技术评估，构建超越二元或清单式伤害分类的框架。
• 引入‘社会技术功能’概念，作为理解系统设计如何塑造利益相关者控制与互动的视角，从而影响伤害潜力。
• 倡导反思性实践，挑战技术中立性与善意性的假设，尤其在通用人工智能模型中。
• 提议在整个人工智能开发生命周期中纳入领域专家（如社会科学家、伦理学家）与受影响的利益相关者，以拓宽对潜在伤害的想象范围。
• 重新定义伤害评估，不仅涵盖直接后果，还应包括间接、累积性以及心理层面的影响，如情感困扰、自主权丧失或结构性不公。

实验结果

研究问题

• RQ1 当前人工智能研究中的更广泛影响声明，因想象力局限与利益相关者包容性不足，如何未能预见复杂且情境依赖的伤害？
• RQ2 现有伤害类型分类（如分配性或代表性伤害）在多大程度上无法涵盖人工智能系统潜在负面影响的全谱？
• RQ3 系统功能如何影响伤害的可能性与性质，特别是在与利益相关者控制和能动性相关方面？
• RQ4 人工智能研究中对技术中立性与善意性的假设，如何导致影响评估中的盲点？
• RQ5 为实现更具包容性、反思性与对多样化利益相关者经验响应的影响评估，需要哪些结构性与方法论上的变革？

主要发现

• 许多NeurIPS 2020年更广泛影响声明反映出一种狭隘的、清单驱动的方法，未能充分考虑人工智能伤害的动态性、情境特异性以及常常不可见的特性。
• 通用模型（如情感分类器）中技术中立性的假设，可能在未考虑社会技术语境的情况下被重新利用，从而导致非预期且有害的应用。
• 系统功能显著影响利益相关者与人工智能输出的互动方式，尤其当非用户或边缘化群体的控制权受限时，可能加剧伤害。
• 当前的影响评估实践常常忽视弱势利益相关者，导致在识别可预见伤害方面存在盲点，特别是与心理或结构性不公相关的伤害。
• 影响评估中缺乏包容性、反思性与响应性流程，削弱了更广泛影响声明在预防现实世界伤害方面的有效性。
• 必须转向上下文感知、利益相关者参与的框架，才能将人工智能风险预见的想象空间拓展至当前基于预设或限制性清单所无法企及的范围。