[论文解读] Toward Explainable AI for Regression Models

Simon Letzgus, Patrick Wagner+4 more|arXiv (Cornell University)|Dec 21, 2021

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

本文提出了一套理论基础扎实的可解释人工智能（XAI）框架，用于回归模型，填补了当前回归任务中XAI方法的空白。通过引入参考值感知方法，将LRP、积分梯度和Shapley值等方法适配至回归任务。提出一种轻量级重构技术，在无需微调的情况下嵌入特定上下文的参考值，实现忠实且单位一致的解释，其单位与预测结果的物理或货币单位保持一致，已在年龄预测和分子能量任务中得到验证。

ABSTRACT

In addition to the impressive predictive power of machine learning (ML) models, more recently, explanation methods have emerged that enable an interpretation of complex non-linear learning models such as deep neural networks. Gaining a better understanding is especially important e.g. for safety-critical ML applications or medical diagnostics etc. While such Explainable AI (XAI) techniques have reached significant popularity for classifiers, so far little attention has been devoted to XAI for regression models (XAIR). In this review, we clarify the fundamental conceptual differences of XAI for regression and classification tasks, establish novel theoretical insights and analysis for XAIR, provide demonstrations of XAIR on genuine practical regression problems, and finally discuss the challenges remaining for the field.

研究动机与目标

• 解决当前回归任务中缺乏理论坚实且针对性的XAI方法的问题，相较于分类任务，回归任务目前仍处于被忽视的状态。
• 识别分类与回归任务中XAI的根本概念差异，特别是回归中缺乏类别边界，以及对上下文相关参考值的依赖。
• 开发并验证一种参考值感知的解释框架，确保解释具有意义、局部化，并与预测结果使用相同的单位。
• 在信号处理和分子物理等实际回归问题中展示所提方法的实用性。
• 建立社区资源（xai-regression.org）和开源代码库，以支持可复现性及回归任务XAI的进一步研究。

提出的方法

• 通过引入用户定义的参考值以实现上下文化解释，将基于守恒性的解释方法（如逐层相关性传播LRP、积分梯度和Shapley值）适配至回归任务。
• 提出一种轻量级重构技术，通过修改模型的计算图来嵌入参考值，无需重新训练或多次前向传播。
• 通过在整个归因过程中保持预测结果的测量单位（如能量、货币单位），确保解释的忠实性。
• 将该框架应用于深度学习模型，包括用于面部年龄预测的大规模CNN以及基于原子模拟的分子能量预测模型。
• 通过将方法的归因结果与基于Shapley值的参考解释进行比较，验证其忠实性，结果显示出强烈的实证一致性。
• 结合基准实验与真实世界案例研究，评估该方法在多样化回归场景下的性能与可解释性。

实验结果

研究问题

• RQ1 如何以理论合理且上下文相关的方式，将现有XAI方法适配至回归任务？
• RQ2 参考值的选择在确保回归模型解释的可解释性与相关性方面发挥何种作用？
• RQ3 轻量级重构方法是否能够在不重新训练或重复推理的前提下，实现准确且单位一致的解释？
• RQ4 参考值感知的解释如何提升实际应用中回归任务（如年龄预测与分子能量估算）的可解释性？
• RQ5 分类与回归任务在解释设计上的关键差异是什么？为何基于分类的XAI方法无法直接迁移到回归任务？

主要发现

• 所提出的参考值感知框架能够为回归模型提供忠实且单位一致的解释，确保归因结果与预测结果使用相同的物理或货币单位，具有可解释性。
• 轻量级重构技术成功在不重新训练或多次推理的情况下将参考值嵌入解释方法，同时保持计算效率。
• 实证验证显示，本方法的归因结果与基于Shapley值的参考解释具有高度一致性，证实了方法的忠实性。
• 该方法成功解释了复杂回归模型在实际应用中的表现，包括用于面部年龄预测的深度CNN以及基于原子模拟的分子能量预测模型。
• 案例研究展示了分子能量的化学上合理的解释，揭示了与物理直觉一致的有意义特征贡献。
• 本研究证实，若直接将基于分类的XAI方法应用于回归任务，将导致误导性或无信息量的解释，原因在于缺乏类别边界，且必须依赖上下文参考值。