[论文解读] Pitfalls to Avoid when Interpreting Machine Learning Models

Christoph Molnar, Gunnar König+7 more|arXiv (Cornell University)|Jul 8, 2020

Explainable Artificial Intelligence (XAI)参考文献 102被引用 34

一句话总结

本文识别了在解释机器学习模型时的关键陷阱，例如泛化能力差、特征依赖性、特征交互作用以及不合理的因果推断。文章为从业者提供了可操作的指导，并指出了研究人员在提升模型解释有效性与可靠性方面面临的开放性挑战。

ABSTRACT

Modern requirements for machine learning (ML) models include both high predictive performance and model interpretability. A growing number of techniques provide model interpretations, but can lead to wrong conclusions if applied incorrectly. We illustrate pitfalls of ML model interpretation such as bad model generalization, dependent features, feature interactions or unjustified causal interpretations. Our paper addresses ML practitioners by raising awareness of pitfalls and pointing out solutions for correct model interpretation, as well as ML researchers by discussing open issues for further research.

研究动机与目标

• 应对现代机器学习模型在高预测性能与可解释性方面日益增长的需求。
• 突出尽管采用了先进的可解释性技术，但模型解释中常见的错误如何导致错误结论。
• 提高机器学习从业者对特征依赖性、交互作用以及因果误读等风险的认识。
• 识别未来研究在模型解释方面尚未解决的挑战，以提升方法论的严谨性。

提出的方法

• 通过真实案例和概念框架，系统分析常见的解释陷阱。
• 通过案例研究说明模型在分布外数据上表现失败时，泛化能力差如何导致问题。
• 考察相关或依赖特征对特征重要性评分的影响及其误读问题。
• 研究当特征交互作用未被显式建模或未被考虑时，如何扭曲解释结果。
• 批判性地分析将可解释性方法误用于推断因果关系的问题，强调相关性与因果性之间的区别。
• 基于模型行为、数据分布和特征关系，提出正确解释的指导原则。

实验结果

研究问题

• RQ1 解释机器学习模型输出时，主要的错误来源是什么？
• RQ2 特征依赖性如何扭曲机器学习模型中特征重要性的解释？
• RQ3 当未被适当地考虑时，模型交互作用以何种方式导致误导性解释？
• RQ4 为何从模型解释中得出因果结论通常无效，以及如何避免此类问题？
• RQ5 为确保可靠且可信的模型解释，需要哪些方法论上的改进？

主要发现

• 当模型在训练数据上表现良好但在新数据上失败时，模型泛化能力差可能导致误导性解释。
• 相关或依赖的特征通常导致不稳定且误导的特征重要性评分，尤其是在使用基于置换的方法时。
• 特征交互作用在解释过程中经常被忽视，导致模型解释过于简化或错误。
• 可解释性方法不应被用于推断因果关系，因为它们基于相关性，且未考虑混杂变量。
• 正确的解释需要理解模型在多样化数据分布和特征关系下的行为。
• 目前仍迫切需要改进的可解释性技术，以考虑数据依赖性、交互作用以及分布偏移问题。