[论文解读] The Who in XAI: How AI Background Shapes Perceptions of AI Explanations

Upol Ehsan, Samir Passi+5 more|arXiv (Cornell University)|Jul 28, 2021

Explainable Artificial Intelligence (XAI)被引用 29

一句话总结

该研究比较具人工智能背景的参与者与非人工智能背景参与者在三种AI解释中的感知差异，揭示群体特异的信任、解读与拟人化程度差异，并对设计提出含义。

ABSTRACT

Explainability of AI systems is critical for users to take informed actions. Understanding "who" opens the black-box of AI is just as important as opening it. We conduct a mixed-methods study of how two different groups--people with and without AI background--perceive different types of AI explanations. Quantitatively, we share user perceptions along five dimensions. Qualitatively, we describe how AI background can influence interpretations, elucidating the differences through lenses of appropriation and cognitive heuristics. We find that (1) both groups showed unwarranted faith in numbers for different reasons and (2) each group found value in different explanations beyond their intended design. Carrying critical implications for the field of XAI, our findings showcase how AI generated explanations can have negative consequences despite best intentions and how that could lead to harmful manipulation of trust. We propose design interventions to mitigate them.

研究动机与目标

• 量化用户在五个感知维度上对三种AI解释类型的偏好。
• 定性地考查AI背景如何影响对解释的解读与意义建构。
• 使用启发式与挪用作为分析视角，解释为何群体差异产生。
• 识别潜在负面后果（如过度信任），并提出设计干预。
• 通过突出创作者-使用者之间的差距，推进XAI中的多元化、以人为本的论述。

提出的方法

• 对同一组被试在两类群体中进行被试内实验（AI背景 vs. 非AI背景）。
• 让参与者接触三种AI代理，提供不同解释风格：理由生成（RG）、行动声明（AD）、数值推理（NR）。
• 在序贯导航任务中使用强化学习（表格Q学习）代理。
• 在五个维度上测量感知：易懂性、信心、智能度、友好度，以及"second chance"。
• 用开放式回答的定性分析来解释群体差异，作为定量数据的补充。
• 将解释建立在启发式与挪用的理论视角上。

实验结果

研究问题

• RQ1 RQ1：用量化方式，不同类型的解释对具有或不具有AI背景的人们如何感知AI代理的影响是什么？
• RQ2 RQ2：定性地，AI背景的差异如何以及为何导致对解释的不同感知？

主要发现

• 两组都对数值表示表现出不当信任，尽管原因和程度不同。
• 每组都为解释赋予超出预期用途的解释价值，提示不同的解释目标。
• 即使欣赏拟人特征，两组在何为拟人化解释以及为何说服力不同。
• 研究结果凸显风险，如可能操纵用户信任与对XAI系统的过度信任。
• 研究讨论缓解这些风险的设计干预，并强调XAI设计中的多元化、以人为本的方法。