[论文解读] Software for Dataset-wide XAI: From Local Explanations to Global Insights with Zennit, CoRelAy, and ViRelAy

Christopher J. Anders, David Neumann+3 more|arXiv (Cornell University)|Jun 24, 2021

Explainable Artificial Intelligence (XAI)被引用 31

一句话总结

本文提出三款集成软件工具（Zennit、CoRelAy、ViRelAy），用于执行数据集范围的XAI，提供局部归因、可扩展的分析管线以及用于全球洞见的交互可视化。

ABSTRACT

Deep Neural Networks (DNNs) are known to be strong predictors, but their prediction strategies can rarely be understood. With recent advances in Explainable Artificial Intelligence (XAI), approaches are available to explore the reasoning behind those complex models' predictions. Among post-hoc attribution methods, Layer-wise Relevance Propagation (LRP) shows high performance. For deeper quantitative analysis, manual approaches exist, but without the right tools they are unnecessarily labor intensive. In this software paper, we introduce three software packages targeted at scientists to explore model reasoning using attribution approaches and beyond: (1) Zennit - a highly customizable and intuitive attribution framework implementing LRP and related approaches in PyTorch, (2) CoRelAy - a framework to easily and quickly construct quantitative analysis pipelines for dataset-wide analyses of explanations, and (3) ViRelAy - a web-application to interactively explore data, attributions, and analysis results. With this, we provide a standardized implementation solution for XAI, to contribute towards more reproducibility in our field.

研究动机与目标

• 提供在 PyTorch 中对 Layer-wise Relevance Propagation (LRP) 的多功能实现，以实现稳健的局部解释。
• 通过模块化管线实现对归因的全数据集分析，以实现可扩展、可重复的研究。
• 提供一个交互式可视化工具，将数据、归因、嵌入和聚类连接起来，获得全球洞见。
• 展示工作流整合如何揭示大型模型和数据集中的偏见或伪造推理。

提出的方法

• Zennit 使用模块钩子和组合在 PyTorch 中实现基于规则的归因（LRP及其变体），以将规则映射到层。
• CoRelAy 构建可执行分析管线（例如 SpRAy），用于数据集范围的归因分析，并通过缓存重用中间结果。
• ViRelAy 提供基于网络的界面，在多个项目中探索数据、归因、嵌入和聚类结果。
• Canonizers 暂时将网络转换为规范形式，以使适用的 LRP 规则生效（例如将 BatchNorm 与相邻层合并）。
• Zennit 支持对归因热图进行可配置颜色映射和热图存储的可视化。
• CoRelAy 包含将嵌入、聚类（KMeans、Spectral）和嵌入（TSNE、EigenDecomposition）结合的管线，并带有结果缓存。
• ViRelAy 从 HDF5 加载 CoRelAy 输出，支持多项目比较，并提供交互式的二维嵌入和辅助分数。

实验结果

研究问题

• RQ1 如何通过组合局部解释和全球洞见的模块化、可重复的软件栈实现数据集范围的 XAI？
• RQ2 需要哪些工具来自动化归因分析管线并可视化它们的全局结构和聚类？
• RQ3 Canonizers 和规则映射是否能将 LRP 的适用性扩展到常见的 DNN 架构与层？
• RQ4 如何通过交互式可视化促进在大规模模型中发现系统性偏见或 Clever Hans 效应？
• RQ5 整合的工作流在多大程度上能提高 XAI 研究的可重复性和可扩展性？

主要发现

• 一个模块化堆栈（Zennit、CoRelAy、ViRelAy）实现从局部归因到全球洞见的端到端数据集范围 XAI。
• Canonizers 和 composites 通过暂时将网络规范化，扩展了 LRP 在常见架构中的适用性。
• CoRelAy 管线高效重用中间结果，使得像 SpRAy 这样的可扩展数据集范围分析成为可能。
• ViRelAy 提供跨多个项目对数据、归因、嵌入和聚类的交互式探索，提升可解释性和协作。
• 该工作流可以通过数据集范围的分析揭示在大数据集上训练的模型中的系统性偏见推理（如 ImageNet）。