[论文解读] On the Relationship Between Explanations, Fairness Perceptions, and Decisions

Jakob Schoeffer, Maria De‐Arteaga+1 more|arXiv (Cornell University)|Apr 27, 2022

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出一个概念框架，将解释、程序公平性感知、对AI的依赖以及人类-AI决策中的分配公平性联系起来。研究发现，误导性解释会扭曲公平性感知，导致对AI的不适当依赖，从而损害分配公平性——揭示了当前XAI研究中的一个关键空白。

ABSTRACT

It is known that recommendations of AI-based systems can be incorrect or unfair. Hence, it is often proposed that a human be the final decision-maker. Prior work has argued that explanations are an essential pathway to help human decision-makers enhance decision quality and mitigate bias, i.e., facilitate human-AI complementarity. For these benefits to materialize, explanations should enable humans to appropriately rely on AI recommendations and override the algorithmic recommendation when necessary to increase distributive fairness of decisions. The literature, however, does not provide conclusive empirical evidence as to whether explanations enable such complementarity in practice. In this work, we (a) provide a conceptual framework to articulate the relationships between explanations, fairness perceptions, reliance, and distributive fairness, (b) apply it to understand (seemingly) contradictory research findings at the intersection of explanations and fairness, and (c) derive cohesive implications for the formulation of research questions and the design of experiments.

研究动机与目标

• 解决在人类-AI互补性公平决策方面缺乏实证证据的问题，即解释是否能促进人类与AI的协同决策。
• 通过识别程序公平性感知的中介作用，调和XAI与公平性研究中看似矛盾的发现。
• 探究误导性解释如何扭曲感知并导致对AI的错误依赖，从而损害分配公平性。
• 提供一个整体框架，用于评估解释的效用，不仅限于公平性感知，还涵盖其对依赖行为和实际决策结果的影响。

提出的方法

• 提出一个概念框架，描绘从解释到分配公平性的因果路径，中间经过程序公平性感知和对AI的依赖。
• 将先前研究划分为三个类别：(A) XAI与公平性感知，(B) XAI与依赖，(C) 依赖与分配公平性。
• 利用该框架分析先前研究结果中的不一致之处，识别出研究中的碎片化或不完整之处。
• 指出即使没有操纵意图，解释仍可能误导感知，例如通过基于特征的欺骗手段在注意力解释中实现。
• 提出由于误导性解释导致感知校准失准，可能引发对AI的不当采纳或不适当的干预行为。
• 规划一项未来的人类被试研究，以实证检验从解释到分配公平性的完整路径，经由感知与依赖机制。

实验结果

研究问题

• RQ1 鉴于解释可能误导人们对公平性的感知，这种误导如何以损害分配公平性的方式影响对AI建议的依赖？
• RQ2 误导性解释在多大程度上会导致用户对AI产生不合理的信任，即使其建议本身不公平或不正确？
• RQ3 程序公平性感知在解释与对AI建议的实际依赖行为之间起何种中介作用？
• RQ4 在形式上看似公平但内容上具有误导性的解释，如何导致不同人口群体间决策结果的不平等？

主要发现

• 解释可能误导人们认为AI系统具有程序公平性，即使其依赖于种族或性别等敏感属性。
• 已有研究显示，误导性解释可使用户信任本不公正的模型，方法是利用合法特征与敏感特征之间的相关性。
• 先前研究表明，解释并不总是能改善人类决策或减少偏见，甚至在某些情况下导致对AI的过度依赖。
• 目前尚无确凿证据表明解释能提升人类-AI的互补性或在实践中改善分配公平性。
• 对AI的依赖受公平性感知影响，当感知因欺骗性解释而出现校准偏差时，依赖行为可能变得不适当。
• 该框架揭示了一个关键空白：大多数XAI研究集中于孤立的环节（如感知或性能），而非从解释到公平结果的完整作用链条。