[论文解读] The Challenge of Imputation in Explainable Artificial Intelligence Models

Muhammad Aurangzeb Ahmad, Carly Eckert+1 more|arXiv (Cornell University)|Jul 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用 7

一句话总结

本文研究了在可解释人工智能（XAI）模型中使用插补数据的风险，特别是在医疗保健等高风险领域，插补值可能生成具有误导性的反事实解释，从而损害模型的保真度与安全性。本文提出插补会引入偏差并降低解释的可靠性，主张应提供透明的免责声明、采用领域感知的插补方法，并在必要时优先考虑模型保障而非可解释性。

ABSTRACT

Explainable models in Artificial Intelligence are often employed to ensure transparency and accountability of AI systems. The fidelity of the explanations are dependent upon the algorithms used as well as on the fidelity of the data. Many real world datasets have missing values that can greatly influence explanation fidelity. The standard way to deal with such scenarios is imputation. This can, however, lead to situations where the imputed values may correspond to a setting which refer to counterfactuals. Acting on explanations from AI models with imputed values may lead to unsafe outcomes. In this paper, we explore different settings where AI models with imputation can be problematic and describe ways to address such scenarios.

研究动机与目标

• 识别机器学习数据集中插补如何损害高风险领域中模型解释的保真度与安全性。
• 分析插补值生成反事实或不合逻辑解释的场景，这些解释会误导最终用户，尤其是临床医生。
• 评估缺失数据机制（MCAR、MAR、NMAR）对XAI系统中解释可靠性与公平性的影响。
• 提出处理XAI中插补的可操作策略，包括免责声明、用户教育以及基于风险的设计选择。
• 强调在插补引入偏差或错误假设时，模型可解释性不应凌驾于模型安全性之上。

提出的方法

• 使用76,000名患者的现实世界医疗数据，模拟插补对模型解释的影响。
• 应用事后解释方法（如LIME和Shapley值）来解释基于插补数据训练的黑箱模型（如XGBoost）。
• 对缺失数据机制（MCAR、MAR、NMAR）进行分类，并评估其对解释质量与偏差的影响。
• 采用多重插补法（MICE）和3D-MICE处理缺失值，评估其对解释保真度的影响。
• 分析树基模型（如XGBoost）中默认插补方式如何将缺失值视为学习到的方向，可能扭曲解释结果。
• 提出包含免责声明、用户教育以及将模型保障优先于可解释性的操作框架。

实验结果

研究问题

• RQ1 训练数据中缺失值的插补如何影响XAI中模型解释的保真度与可解释性？
• RQ2 插补值在何种方式下会导致医疗AI系统中出现反事实或临床不合理的解释？
• RQ3 不同的缺失数据机制（MCAR、MAR、NMAR）如何影响XAI解释的可靠性与公平性？
• RQ4 在医疗保健和刑事司法等高风险领域，依赖插补数据生成的解释存在哪些安全与伦理风险？
• RQ5 组织应如何在存在插补的情况下实现XAI解释，以维持信任并防止有害决策？

主要发现

• 模型解释中使用的插补值可能导致解释提及从未实际执行的实验室检查或临床因素，从而产生误导性或荒谬的解读。
• 基于插补数据的解释可能与患者实际病史相矛盾，削弱临床医生对AI系统的信任。
• 在非忽略性缺失数据（NMAR）设置中，插补会引入显著偏差，因为插补值可能无法反映真实世界条件，从而降低解释的保真度。
• 树基模型（如XGBoost）通过学习到的默认方向处理缺失值，但如果测试数据与训练数据在缺失模式上存在差异，可能导致性能下降和解释质量降低。
• 插补可能引入或放大对受保护群体（如种族、性别）的偏差，损害XAI系统的公平性。
• 本文结论认为，当插补引入高风险时，应优先考虑模型保障与安全性，而非可解释性，并建议通过免责声明和用户教育来缓解自动化偏见。