[论文解读] Techniques for Interpretable Machine Learning

Mengnan Du, Ninghao Liu+1 more|arXiv (Cornell University)|Jul 31, 2018

Explainable Artificial Intelligence (XAI)参考文献 34被引用 28

一句话总结

本文全面综述了可解释机器学习技术，将其分类为内在可解释性（自解释模型）和事后可解释性（对现有模型的解释），重点关注全局可解释性和局部可解释性。文章引入了对比性、选择性和可信性解释作为用户友好的范式，并呼吁跨学科合作以推进以人为本的可解释性。

ABSTRACT

Interpretable machine learning tackles the important problem that humans cannot understand the behaviors of complex machine learning models and how these models arrive at a particular decision. Although many approaches have been proposed, a comprehensive understanding of the achievements and challenges is still lacking. We provide a survey covering existing techniques to increase the interpretability of machine learning models. We also discuss crucial issues that the community should consider in future work such as designing user-friendly explanations and developing comprehensive evaluation metrics to further push forward the area of interpretable machine learning.

研究动机与目标

• 提供对现有机器学习模型可解释性技术的系统性概述。
• 解决可解释性技术在准确性、保真度与用户信任之间平衡的理解关键缺口。
• 识别解释质量中的关键挑战，包括忠实性、可信度与用户中心设计。
• 倡导通过机器学习、人机交互（HCI）和社会科学的协作，开发用户友好的解释。
• 提出未来研究方向，聚焦于面向实际部署的对比性、选择性和可信性解释。

提出的方法

• 将可解释机器学习分为内在可解释性（例如，决策树、线性模型、注意力机制）和事后可解释性（例如，LIME、SHAP）。
• 区分全局可解释性（对整个模型的理解）与局部可解释性（对单个预测的解释）。
• 提出通过比较预测与反事实或替代情形（例如，“为何未获批准？”）来生成对比性解释，利用特征归因对比。
• 引入选择性解释，仅突出最具影响力的特征（例如，贷款拒批的前两位原因），以提升清晰度与相关性。
• 强调与领域知识一致的可信解释，避免产生反直觉或不合理的因果关系。
• 倡导根据用户情境定制的对话式解释，例如为非专家提供口语化表达，以增强理解与信任。

实验结果

研究问题

• RQ1 我们如何基于可解释性类型与时机，系统性地对现有可解释机器学习技术进行分类？
• RQ2 内在可解释性与事后可解释性在模型准确性与解释保真度之间存在何种权衡？
• RQ3 对比性解释如何通过比较结果（例如，“为何未获批准？”）帮助用户理解决策？
• RQ4 哪些设计原则可使解释更具用户友好性、可信度与可操作性？
• RQ5 跨学科合作在推进真实应用场景中以人为本的可解释性方面发挥何种作用？

主要发现

• 内在可解释性技术（如决策树、线性模型和注意力机制）提供固有的可解释结构，但可能牺牲预测性能。
• 事后方法（如 LIME 和 SHAP）可在不修改原始模型的情况下提供忠实的局部解释，尽管其为近似方法，依赖于局部代理建模。
• 对比性解释（回答“为何是 Q 而非 R？”）可通过比较预测与反事实情形之间的特征归因生成，从而增强用户对决策边界的理解。
• 选择性解释（仅突出最具影响力的特征，例如贷款拒批的前两位原因）可提升清晰度并减轻认知负荷。
• 当解释与领域知识一致时（例如，信用记录与收入比率优于婚姻状况），可信解释更具可信度，从而减少用户怀疑。
• 用户友好的解释需考虑社会语境与沟通形式（例如，口语与文本），提示解释交付中需采用对话式人工智能方法。