[论文解读] Towards Explainable Artificial Intelligence (XAI): A Data Mining Perspective

Haoyi Xiong, Xuhong Li+6 more|arXiv (Cornell University)|Jan 9, 2024

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文从数据为中心的视角重新框定可解释性 AI（XAI），按解释、训练数据影响和领域洞察对方法进行分类，并将它们映射到跨模态的四个数据挖掘阶段。

ABSTRACT

Given the complexity and lack of transparency in deep neural networks (DNNs), extensive efforts have been made to make these systems more interpretable or explain their behaviors in accessible terms. Unlike most reviews, which focus on algorithmic and model-centric perspectives, this work takes a "data-centric" view, examining how data collection, processing, and analysis contribute to explainable AI (XAI). We categorize existing work into three categories subject to their purposes: interpretations of deep models, referring to feature attributions and reasoning processes that correlate data points with model outputs; influences of training data, examining the impact of training data nuances, such as data valuation and sample anomalies, on decision-making processes; and insights of domain knowledge, discovering latent patterns and fostering new knowledge from data and models to advance social values and scientific discovery. Specifically, we distill XAI methodologies into data mining operations on training and testing data across modalities, such as images, text, and tabular data, as well as on training logs, checkpoints, models and other DNN behavior descriptors. In this way, our study offers a comprehensive, data-centric examination of XAI from a lens of data mining methods and applications.

研究动机与目标

• 推动一种与模型为中心的综述不同的、以数据为中心的 XAI 视角。
• 将 XAI 方法分为三种目的：对深层模型的解释、对训练数据的影响，以及领域知识洞察。
• 提出用于 XAI 的四阶段数据挖掘过程：数据获取、数据准备、数据建模，以及结果报告/可视化。
• 提供一个将数据挖掘实践与跨模态（如图像、文本和表格数据）XAI 技术联系起来的分类法。

提出的方法

• 提出一个三目的四阶段数据挖掘分类法来组织 XAI 方法。
• 对现有技术进行调查并将其分为特征归因、推理过程、样本估值和领域洞察。
• 将训练日志、检查点、显著性图以及梯度等数据源描述为深度神经网络行为描述符（表 I）。
• 讨论与数据模态（图像、文本、表格）相一致的可视化与报告策略。
• 提出一个将数据获取、准备、建模以及报告与 XAI 方法等连接起来的框架。

Figure 1: Overview of Explainable AI as a Data Mining Approach for Interpretations, Influences and Insights

实验结果

研究问题

• RQ1 从数据挖掘的角度，如何将 XAI 技术有效地组织为解释、训练数据影响和领域洞察？
• RQ2 构成 XAI 工作流的四个数据挖掘阶段是什么，它们如何映射到不同的 XAI 技术？
• RQ3 数据源和行为描述符（例如显著性图、损失曲线、梯度）如何输入到 XAI 的解释与洞察中？
• RQ4 领域知识洞察在通过 XAI 推进社会价值和科学发现中的作用是什么？

主要发现

• 以数据为中心的分类法澄清了 XAI 方法如何在跨模态中服务于解释、影响和洞察。
• XAI 方法涵盖特征归因、推理过程、代理可解释模型和概念激活，均与数据挖掘阶段相关联。
• 训练数据的影响，例如样本估值和异常检测，对于理解模型决策和鲁棒性至关重要。
• 可视化和报告技术针对数据模态进行定制，帮助提高透明度和信任。
• 该框架强调 XAI 通过数据驱动洞察促进 AI 驱动的科学与医学等领域发展的潜力。

(a) ViT-B