[论文解读] The Who in Explainable AI: How AI Background Shapes Perceptions of AI Explanations

Upol Ehsan, Samir Passi+5 more|arXiv (Cornell University)|Jul 28, 2021

Explainable Artificial Intelligence (XAI)参考文献 123被引用 14

一句话总结

本研究通过混合方法研究，比较了具有和不具有AI背景的两组用户对可解释人工智能（XAI）解释的感知差异。研究发现，两组用户均对数值型解释存在不合理的信任，对解释类型的偏好超出其原始设计意图，且对‘类人’解释的定义存在显著分歧，凸显了用户信任与理解之间的关键差异，对公平的XAI设计构成挑战。

ABSTRACT

Explainability of AI systems is critical for users to take informed actions and hold systems accountable. While opening the opaque is important, understanding who opens the box can govern if the Human-AI interaction is effective. In this paper, we conduct a mixed-methods study of how two different groups of whos--people with and without a background in AI--perceive different types of AI explanations. These groups were chosen to look at how disparities in AI backgrounds can exacerbate the creator-consumer gap. We quantitatively share what the perceptions are along five dimensions: confidence, intelligence, understandability, second chance, and friendliness. Qualitatively, we highlight how the AI background influences each group's interpretations and elucidate why the differences might exist through the lenses of appropriation and cognitive heuristics. We find that (1) both groups had unwarranted faith in numbers, to different extents and for different reasons, (2) each group found explanatory values in different explanations that went beyond the usage we designed them for, and (3) each group had different requirements of what counts as humanlike explanations. Using our findings, we discuss potential negative consequences such as harmful manipulation of user trust and propose design interventions to mitigate them. By bringing conscious awareness to how and why AI backgrounds shape perceptions of potential creators and consumers in XAI, our work takes a formative step in advancing a pluralistic Human-centered Explainable AI discourse.

研究动机与目标

• 考察具有和不具有AI背景的用户对不同类型AI解释的感知差异。
• 识别可能加剧XAI中创造者与消费者之间差距的信任、可理解性及类人感知方面的差异。
• 揭示用户在接收AI解释时出现不同解读模式的认知与使用行为机制。
• 为减轻操纵风险并促进公平、以人为本的XAI设计提供干预依据。

提出的方法

• 开展一项混合方法研究，比较具有和不具有正式AI背景的用户对AI解释的感知差异。
• 通过定量方式测量用户在五个维度上的感知：信心、智能、可理解性、第二次机会、友好度。
• 收集定性数据，分析AI背景如何影响用户对解释的解读，包括认知启发式与使用行为。
• 采用主题分析法解读定性回应，并解释感知差异的定量结果。
• 设计解释以测试特定类型（如反事实解释、LIME、SHAP）在原始使用场景之外的表现。
• 分析用户对‘类人’解释的期望差异，及其与用户背景和信任形成的关系。

实验结果

研究问题

• RQ1 个体的AI背景在多大程度上影响其对AI解释在信心、智能、可理解性、第二次机会及友好度等方面的感知？
• RQ2 AI专家与非专家用户在解释解读与价值判断方面存在差异的认知机制是什么？
• RQ3 用户在多大程度上将解释应用于其原始设计意图之外的场景？这种应用方式是否因背景而异？
• RQ4 用户如何定义‘类人’解释？AI专家与非专家的定义有何不同？
• RQ5 AI解释中信任错位存在哪些风险？设计如何减轻有害操纵的影响？

主要发现

• 无论是AI专家还是非专家，均对数值型解释表现出不合理的信任，但原因不同：专家信任其统计严谨性，非专家则依赖其表面客观性。
• 两组用户均在不同解释类型中发现价值，且常将其用于原始设计意图之外的场景，例如非专家使用LIME进行信任建立，尽管其存在局限性。
• AI专家偏好技术精确性与逻辑一致性强的解释，而非专家则更青睐直观、叙事驱动的格式。
• 非专家在解释中加入自然语言时，即使准确性较低，也更倾向于认为其更具‘友好性’与‘智能性’。
• 专家对方法论缺乏透明度的解释持更高怀疑态度，表明其对解释理由有更高标准。
• 研究发现，用户对‘类人’解释的定义存在显著分歧：非专家偏好对话式语气，而专家更重视逻辑一致性。