[论文解读] Why do explanations fail? A typology and discussion on failures in XAI

Clara Bove, Thibault Laugel+3 more|arXiv (Cornell University)|May 22, 2024

Scientific Computing and Data Management被引用 4

一句话总结

本文提出了一种可解释人工智能（XAI）失败的全面分类体系，通过区分系统特定失败与用户特定失败，以应对解释失效复杂且重叠的成因。通过分析技术限制与人类理解问题，识别出关键的失败类别，并倡导提升透明度、以用户为中心的界面设计以及跨学科协作，以增强机器学习系统中解释的质量与可靠性。

ABSTRACT

As Machine Learning models achieve unprecedented levels of performance, the XAI domain aims at making these models understandable by presenting end-users with intelligible explanations. Yet, some existing XAI approaches fail to meet expectations: several issues have been reported in the literature, generally pointing out either technical limitations or misinterpretations by users. In this paper, we argue that the resulting harms arise from a complex overlap of multiple failures in XAI, which existing ad-hoc studies fail to capture. This work therefore advocates for a holistic perspective, presenting a systematic investigation of limitations of current XAI methods and their impact on the interpretation of explanations. % By distinguishing between system-specific and user-specific failures, we propose a typological framework that helps revealing the nuanced complexities of explanation failures. Leveraging this typology, we discuss some research directions to help practitioners better understand the limitations of XAI systems and enhance the quality of ML explanations.

研究动机与目标

• 通过识别技术与以人为本限制的重叠，解决对XAI失败理解的碎片化问题。
• 建立一个系统性、分层的XAI失败分类体系，明确区分系统特定与用户特定的失败类型。
• 通过结构化框架，指导AI从业者诊断解释失效的根本原因。
• 通过揭示沟通鸿沟与交互限制，推动更透明、以用户为中心的XAI设计。
• 识别出通过提升透明度与交互式用户界面以增强解释质量的研究方向。

提出的方法

• 对近期XAI研究进行全面文献综述，聚焦于解释、界面与评估中的局限性。
• 提出一种两级XAI失败分类体系：系统特定失败（如鲁棒性、忠实性、稳定性）与用户特定失败（如误解、过度信任、认知偏差）。
• 分析系统设计与用户认知之间相互作用如何导致失败，特别是在方法假设缺乏清晰沟通的情况下。
• 强调通过设计原则（如机器学习透明度与事实性文档）提升XAI方法透明度的必要性，类似于Model Cards的做法。
• 倡导开发先进的XAI用户界面（XUI），支持交互式、对话式与基于叙事的解释传递。
• 利用该分类体系，识别出聚焦于诊断失败根源与缓解复合失败影响的研究路径。

实验结果

研究问题

• RQ1 XAI中的主要失败类别是什么？它们如何重叠或相互作用？
• RQ2 系统级限制（如不稳定性或缺乏忠实性）如何导致解释失败？
• RQ3 用户级因素（如先验信念、认知偏差或理解不足）以何种方式导致对解释的误解？
• RQ4 XAI系统与用户之间的沟通鸿沟如何加剧解释失败？
• RQ5 哪些设计原则与界面模式（如对话式、可视化）可减少用户特定失败并提升解释理解？

主要发现

• 本文识别出XAI研究中的一个关键缺口：失败极少以整体视角研究，导致误诊与无效缓解策略。
• 系统特定失败包括解释方法中缺乏忠实性、鲁棒性与稳定性等问题，即使解释在技术上准确，也可能误导用户。
• 用户特定失败源于解释内容与用户需求之间的不匹配，例如对解释的过度信任或因认知偏差导致的错误推断。
• 许多失败并非源于解释本身有缺陷，而是用户缺乏对解释方法工作原理的理解，特别是关于特征交互与权衡（如局部性与稳定性）的问题。
• 缺乏交互式、对话式或基于叙事的界面，限制了用户探索与验证解释的能力，增加了对外部推理的依赖，也提高了误解风险。
• 作者倡导对XAI方法进行标准化文档记录（类似Model Cards），以提升透明度，帮助用户理解方法论假设与局限性。