[论文解读] Xplique: A Deep Learning Explainability Toolbox

Thomas Fel, Lucas Hervier+13 more|arXiv (Cornell University)|Jun 9, 2022

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

Xplique 是一个基于 TensorFlow 的深度学习可解释性工具箱，实现了 14 种以上的归因方法、特征可视化以及基于概念的解释技术（例如 CAV、TCAV），并附带相应的评估指标。它使研究人员能够通过显著性图、可视化神经元刺激以及人类可理解的概念来解释模型决策，同时在 PyTorch、scikit-learn 和 Theano 之间实现互操作性。

ABSTRACT

Today's most advanced machine-learning models are hardly scrutable. The key challenge for explainability methods is to help assisting researchers in opening up these black boxes, by revealing the strategy that led to a given decision, by characterizing their internal states or by studying the underlying data representation. To address this challenge, we have developed Xplique: a software library for explainability which includes representative explainability methods as well as associated evaluation metrics. It interfaces with one of the most popular learning libraries: Tensorflow as well as other libraries including PyTorch, scikit-learn and Theano. The code is licensed under the MIT license and is freely available at github.com/deel-ai/xplique.

研究动机与目标

• 为解决在多种框架中缺乏可访问、统一的深度学习模型可解释性工具的问题。
• 提供一个全面的开源库，支持多种可解释性范式：归因、特征可视化和基于概念的方法。
• 集成评估指标，以评估解释方法的质量和可靠性。
• 实现可解释性模块之间的互操作性，例如使用特征可视化来可视化 CAV，或将 CAV 的相关性归因于输入特征。
• 支持多种数据类型，包括图像、表格数据和时间序列，提升在不同领域中的可用性。

提出的方法

• 实现 14 种以上的归因方法（例如 Grad-CAM、GradPR、Integrated Gradients、LRP、SmoothGrad），用于生成输入特征的显著性图。
• 提供特征可视化模块，通过傅里叶预条件等技术，优化输入刺激以最大化特定神经元、通道或方向的激活。
• 通过 CAV（概念激活向量）提取和 TCAV（使用概念激活向量进行测试）支持基于概念的解释，以量化人类可理解的概念对模型预测的影响。
• 提供模块化 API，支持跨模块交互，例如在特征可视化中渲染 CAV，或在归因图上叠加 CAV 相关性。
• 通过统一接口与主要深度学习框架（包括 TensorFlow、PyTorch、scikit-learn 和 Theano）集成。
• 集成标准化的归因方法评估指标（例如保真度、敏感性、鲁棒性），用于评估解释质量。

实验结果

研究问题

• RQ1 统一的软件库在多大程度上能提升深度学习可解释性方法的可访问性和可复现性？
• RQ2 特征可视化和基于概念的方法在在多大程度上能与归因技术互补，以解释模型行为？
• RQ3 评估指标在多大程度上有助于评估不同解释方法的可靠性和一致性？
• RQ4 跨模块集成（例如可视化 CAV 或将归因与概念分析结合）在实践中是否能增强可解释性？
• RQ5 如何在多种深度学习框架和数据模态中有效部署可解释性工具？

主要发现

• Xplique 提供了一个全面的开源工具箱，在单一、可互操作的框架中支持 14 种以上的归因方法、特征可视化和基于概念的解释（CAV/TCAV）。
• 该库支持跨模块可视化，例如将 CAV 渲染为可解释的刺激，或在显著性图上叠加 CAV 相关性，从而增强可解释性。
• 归因方法的评估指标已原生集成，支持对解释质量进行系统性基准测试。
• 该工具箱支持多种数据类型，包括图像、表格数据和时间序列，显著提升了其在不同领域中的适用性。
• 与 TensorFlow、PyTorch、scikit-learn 和 Theano 的互操作性，使其在研究和生产环境中具有广泛的应用潜力。
• 该库以 MIT 许可证发布，并托管在 GitHub 上，确保了开放获取和社区驱动的开发。