[论文解读] The future of human-centric eXplainable Artificial Intelligence (XAI) is not post-hoc explanations

Vinitra Swamy, Jibril Frej+1 more|arXiv (Cornell University)|Jul 1, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文主张，以人为本的可解释人工智能（XAI）必须超越事后解释，转向内在可解释的神经网络架构。本文提出了两种框架——InterpretCC，用于基于特征组的自适应条件计算；以及I2MD，用于利用知识图谱进行迭代模型诊断，以确保从设计上实现实时、准确、可操作、人类可理解且一致的解释。

ABSTRACT

Explainable Artificial Intelligence (XAI) plays a crucial role in enabling human understanding and trust in deep learning systems. As models get larger, more ubiquitous, and pervasive in aspects of daily life, explainability is necessary to minimize adverse effects of model mistakes. Unfortunately, current approaches in human-centric XAI (e.g. predictive tasks in healthcare, education, or personalized ads) tend to rely on a single post-hoc explainer, whereas recent work has identified systematic disagreement between post-hoc explainers when applied to the same instances of underlying black-box models. In this paper, we therefore present a call for action to address the limitations of current state-of-the-art explainers. We propose a shift from post-hoc explainability to designing interpretable neural network architectures. We identify five needs of human-centric XAI (real-time, accurate, actionable, human-interpretable, and consistent) and propose two schemes for interpretable-by-design neural network workflows (adaptive routing with InterpretCC and temporal diagnostics with I2MD). We postulate that the future of human-centric XAI is neither in explaining black-boxes nor in reverting to traditional, interpretable models, but in neural networks that are intrinsically interpretable.

研究动机与目标

• 为解决当前以人为本的AI应用中事后解释器的局限性，即解释往往不一致、不可靠或不可操作。
• 识别以人为本的XAI的五个核心需求：实时性能、具备置信度的准确性、可操作性、人类可理解性以及一致性。
• 倡导从解释黑箱模型转向从一开始就设计内在可解释的神经网络架构的范式转变。
• 提出实用且可部署的工作流程——InterpretCC与I2MD，将可解释性嵌入模型开发生命周期，且不牺牲性能。

提出的方法

• InterpretCC通过稀疏正则化的自适应路由机制，动态选择每个输入的最小且有意义的特征组，并根据输入依赖的决策将其路由至专家子网络。
• 该方法通过仅允许模型决策依赖于选定的特征或特征组，来强制实现可解释性，从而确保解释始终反映实际的模型行为。
• InterpretCC支持可定制的稀疏性标准，使简单样本可实现高可解释性，同时为复杂样本保留准确性。
• I2MD通过在训练过程中从模型快照中提取知识图谱，执行迭代诊断，支持跨训练阶段的比较，以追踪模型发展并识别潜在弱点。
• 诊断基准用于指导有针对性的数据增强与微调，实现可解释性与模型改进之间的闭环。
• 两种框架均设计为可无缝集成到现有深度学习工作流中，推理成本仅相当于标准模型推理，无额外开销。

实验结果

研究问题

• RQ1 事后解释器能否可靠地满足以人为本的XAI的五个核心要求：实时性、具备置信度的准确性、可操作性、人类可理解性以及一致性？
• RQ2 当前事后解释器在多大程度上因系统性分歧和缺乏对模型行为的忠实性，而无法反映真实模型行为？
• RQ3 如何在不牺牲性能或与准确性权衡的前提下，确保深度学习模型的可解释性？
• RQ4 利用知识图谱进行迭代模型诊断，能否实现对模型发展过程的透明、可操作的洞察？
• RQ5 哪些设计原则能够使神经网络从本质上具备可解释性，同时在高风险应用场景中保持最先进性能？

主要发现

• 事后解释器本质上不可靠，因为不同方法之间存在系统性分歧，且对模型行为缺乏忠实性，即使应用于同一黑箱模型和输入也是如此。
• InterpretCC通过仅允许模型决策依赖于选定的特征组，确保了解释的100%忠实性，从而保证解释真实反映模型行为。
• InterpretCC中的自适应路由机制实现了动态、输入特定的特征选择，提升了可解释性，且不牺牲模型准确性。
• I2MD通过比较训练过程中提取的迭代训练快照的知识图谱，使开发者能够追踪模型能力随时间的变化，揭示技能何时以及如何出现。
• 将诊断基准集成到训练循环中，可实现有针对性的数据筛选与更快收敛，从而在训练早期阶段提升模型性能。
• 所提出的框架——InterpretCC与I2MD——完全满足以人为本的XAI的五个核心要求：实时、具备置信度的准确性、可操作性、人类可理解性以及一致性解释。