[论文解读] OmniXAI: A Library for Explainable AI

Wenzhuo Yang, Hung Lê+3 more|arXiv (Cornell University)|Jun 1, 2022

Explainable Artificial Intelligence (XAI)被引用 23

一句话总结

OmniXAI 是一个开源的 Python 库，提供对多种数据类型和模型的全方位可解释性，具统一接口和用于可视化多种 XAI 方法的 GUI 仪表板。

ABSTRACT

We introduce OmniXAI (short for Omni eXplainable AI), an open-source Python library of eXplainable AI (XAI), which offers omni-way explainable AI capabilities and various interpretable machine learning techniques to address the pain points of understanding and interpreting the decisions made by machine learning (ML) in practice. OmniXAI aims to be a one-stop comprehensive library that makes explainable AI easy for data scientists, ML researchers and practitioners who need explanation for various types of data, models and explanation methods at different stages of ML process (data exploration, feature engineering, model development, evaluation, and decision-making, etc). In particular, our library includes a rich family of explanation methods integrated in a unified interface, which supports multiple data types (tabular data, images, texts, time-series), multiple types of ML models (traditional ML in Scikit-learn and deep learning models in PyTorch/TensorFlow), and a range of diverse explanation methods including "model-specific" and "model-agnostic" ones (such as feature-attribution explanation, counterfactual explanation, gradient-based explanation, etc). For practitioners, the library provides an easy-to-use unified interface to generate the explanations for their applications by only writing a few lines of codes, and also a GUI dashboard for visualization of different explanations for more insights about decisions. In this technical report, we present OmniXAI's design principles, system architectures, and major functionalities, and also demonstrate several example use cases across different types of data, tasks, and models.

研究动机与目标

• 提供一个一站式、易于使用的可解释性 AI 库，覆盖多种数据类型和模型。
• 在统一接口下集成丰富的解释方法（模型无关、模型特定和对照反事实）。
• 支持表格、图像、文本和时间序列数据，以实现全面的 XAI 分析。
• 提供一个 GUI 仪表板，用于可视化并比较不同方法的解释。
• 便于与常用机器学习框架（scikit-learn、PyTorch、TensorFlow）进行轻松扩展和集成。

提出的方法

• 介绍 OmniXAI 的设计原则（统一接口、易扩展、易可视化）。
• 描述五个核心组件：数据类、预处理、解释器、解释结果和可视化工具。
• 提供四个解释器组：数据分析、表格、视觉、NLP（时间序列单独作为一个解释器）。
• 将解释器分类为模型无关、模型特定，或对照反事实解释；解释它们的适用性和局限性。
• 提出一个统一的 AutoExplainerBase 架构，选择适用的解释器并路由到 ExplainerBase。
• 展示跨数据类型整合流行方法（LIME、SHAP、PDP、MACE、Grad-CAM、IG、Polyjuice 等）。
• 提供一个 GUI 仪表板（Plotly Dash）和用于生成及可视化解释的代码示例。
• 提供在初始化 Tabular/NLP/Vision/Timeseries 解释器以及获取局部/全局解释时的实际用法模式。

实验结果

研究问题

• RQ1 如何通过一个库在多种数据类型和模型之间提供全面的 XAI 方法？
• RQ2 哪些架构设计能够实现对多种解释的轻松扩展、比较和可视化？
• RQ3 在一个 API 下将模型无关与模型特定的解释统一起来的效果如何？
• RQ4 是否能够在一个框架内高效地将对照反事实解释整合到表格、图像和时间序列数据中？
• RQ5 OmniXAI 在真实世界的 ML 工作流程（数据探索、特征工程、模型评估、决策制定）中的影响是什么？

主要发现

• OmniXAI 支持广泛的数据类型（表格、图像、文本、时间序列）和 ML 框架（例如 scikit-learn、PyTorch、TensorFlow），并具有统一接口。
• 它整合了许多流行的解释方法（LIME、SHAP、PDP、Morris、L2X、基于梯度的方法、Grad-CAM、CEM、MACE、Polyjuice），包括模型无关和模型特定类别。
• 该库提供局部和全局解释，以及一个对照反事实解释组件（表格/时间序列的 MACE，图像的 CE，文本的 Polyjuice）。
• 一个 GUI 仪表板使得对同一实例或数据集的多种解释进行可视化比较和探索。
• 实验在四个数据情景下展示可解释性（表格：收入预测，图像分类，NLP 情感分析，时间序列异常检测）。
• 该设计强调易用性、可扩展性和可视化，以支持实际的 AI 调试与审计。