[论文解读] On the Art and Science of Machine Learning Explanations

Patrick Hall|arXiv (Cornell University)|Oct 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 31被引用 32

一句话总结

本文提出了一套全面且实用的可解释人工智能技术指南——包括 LIME、SHAP、部分依赖图以及代理决策树——用于在现实世界应用中解释机器学习模型。通过金融信贷风险的应用案例，展示了局部与全局解释如何提升模型信任度、满足监管合规要求并促进公平性，同时倡导通过可复现的软件示例实现负责任的部署。

ABSTRACT

This text discusses several popular explanatory methods that go beyond the error measurements and plots traditionally used to assess machine learning models. Some of the explanatory methods are accepted tools of the trade while others are rigorously derived and backed by long-standing theory. The methods, decision tree surrogate models, individual conditional expectation (ICE) plots, local interpretable model-agnostic explanations (LIME), partial dependence plots, and Shapley explanations, vary in terms of scope, fidelity, and suitable application domain. Along with descriptions of these methods, this text presents real-world usage recommendations supported by a use case and public, in-depth software examples for reproducibility.

研究动机与目标

• 为从业者提供可操作且可复现的技术，用于解释复杂机器学习模型，超越传统误差度量。
• 回应高风险领域（如金融）中日益增长的模型可解释性需求，其中监管合规性（例如 GDPR、公平信贷报告法）与公平性至关重要。
• 通过区分稳健且基于理论的方法与可能具有误导性或误用的方法（如“公平性伪装”）来促进可解释性工具的负责任使用。
• 将解释技术与可解释模型、调试及公平性评估相结合，以增强关键任务系统中的信任度与透明度。
• 通过提供所有方法和用例的公开软件示例及代码链接，支持可复现性。

提出的方法

• 采用以人为中心的工作流程，将模型解释与可解释模型、调试及公平性分析相结合，以减少差异性影响。
• 使用代理决策树（h_tree）在局部近似复杂模型，实现直观的特征重要性与交互作用解释。
• 应用局部可解释的模型无关解释（LIME）生成单个预测的实例特定特征贡献。
• 利用 Shapley 值（tree SHAP）计算局部准确且一致的特征归因，满足公平性与可加性理论公理。
• 生成部分依赖图（PDPs）与个体条件期望（ICE）图，以可视化特征对模型输出的全局与局部影响。
• 在 UCI 信用卡违约数据集上验证方法，使用 30% 的验证集评估不同预测违约风险百分位数上的解释效果。

实验结果

研究问题

• RQ1 如何有效结合局部与全局解释技术，以提升高风险应用中的模型透明度与信任度？
• RQ2 在金融机器学习中，哪种解释方法——LIME、SHAP、PDPs、ICE 或代理模型——最能支持监管合规性与人类理解？
• RQ3 解释方法在多大程度上揭示了信贷风险模型中的隐藏交互作用与特征依赖关系，例如还款状态与账单金额之间的关系？
• RQ4 如何利用解释来检测并修复模型预测中不同人口群体间的差异性影响？
• RQ5 解释技术在模型调试（包括残差分析与敏感性分析）中发挥何种作用，以确保模型的鲁棒性与可靠性？

主要发现

• 代理决策树（h_tree）模型有效捕捉了关键交互作用，例如当 PAY_0 < 0.5 且 PAY_AMT2 ≥ 4747.5 时违约概率较低，而当 PAY_0 ≥ 1.5、PAY_5 ≥ 1 且 BILL_AMT4 < 17399.5 时违约概率较高。
• 在预测违约风险的第 10、50 和 90 百分位数处，tree SHAP 解释显示出随风险上升而一致增加的特征贡献，验证了该方法的保真度。
• 对于高风险客户（第 90 百分位数），导致高违约预测的三个最关键原因分别是：最近一次还款延迟 2 个月，第四次最近还款延迟 2 个月，以及第三次最近还款金额为 0 新台币。
• 结合局部解释（SHAP）、全局趋势（PDPs）与代理模型，实现了对模型信任与公平性的全面诊断工作流。
• 解释被证明可支持监管合规性，例如根据 GDPR 第 22 条与《公平信贷报告法》要求，提供可审计、人类可读的模型决策理由。
• 研究表明，当解释技术与模型调试及公平性分析相结合时，能显著提升关键任务机器学习系统的可靠性与可审计性。