[论文解读] Programs as Black-Box Explanations

Sameer Singh, Marco Túlio Ribeiro+1 more|arXiv (Cornell University)|Nov 22, 2016

Explainable Artificial Intelligence (XAI)参考文献 17被引用 35

一句话总结

本文提出使用可执行程序作为模型无关的解释，用于黑箱机器学习模型，从而实现简洁、人类可读且表达力强的局部解释。通过将解释形式化为包含条件、逻辑和算术运算的简单程序，该方法比传统的可解释模型（如线性模型或决策树）更灵活地捕捉复杂行为，并通过在真实数据集上基于模拟退火的原型实现验证了其可行性。

ABSTRACT

Recent work in model-agnostic explanations of black-box machine learning has demonstrated that interpretability of complex models does not have to come at the cost of accuracy or model flexibility. However, it is not clear what kind of explanations, such as linear models, decision trees, and rule lists, are the appropriate family to consider, and different tasks and models may benefit from different kinds of explanations. Instead of picking a single family of representations, in this work we propose to use "programs" as model-agnostic explanations. We show that small programs can be expressive yet intuitive as explanations, and generalize over a number of existing interpretable families. We propose a prototype program induction method based on simulated annealing that approximates the local behavior of black-box classifiers around a specific prediction using random perturbations. Finally, we present preliminary application on small datasets and show that the generated explanations are intuitive and accurate for a number of classifiers.

研究动机与目标

• 解决缺乏统一、表达力强且可解释的表示方法来解释复杂黑箱模型的局部预测问题。
• 克服现有模型无关解释方法仅依赖稀疏线性模型或固定可解释结构的局限性。
• 探索程序——一种自然表达且对多数用户熟悉的格式——是否可作为通用、可扩展且易懂的解释格式。
• 评估解释表示中表达力与可解释性之间的权衡，特别是在与决策树、线性模型和规则列表的比较中。
• 证明基于程序的解释在近似复杂模型（如随机森林和深度神经网络）时，既能保持准确性，又具备直观性。

提出的方法

• 通过在扰动实例上拟合黑箱模型的预测结果，将程序诱导问题形式化为局部解释的生成过程。
• 使用模拟退火算法搜索最小化黑箱模型预测与程序输出之间差异的程序。
• 定义一种领域特定的、最小化的编程语言，包含条件、逻辑运算符、算术运算和特征访问，以兼顾表达力与可读性。
• 将常见可解释模型（如决策树、线性模型、决策列表、决策集）表示为等价程序，以展示统一性与自然语法。
• 在真实世界数据集（如Adult收入、医院再入院）和多种分类器（如随机森林、决策树、线性模型）上应用该方法，生成解释。
• 通过与人工编写的等效程序及标准模型无关解释进行比较，评估生成程序的紧凑性和可理解性。

实验结果

研究问题

• RQ1 程序能否作为统一、表达力强且可解释的表示，用于解释多种黑箱模型的局部预测？
• RQ2 与LIME或SHAP等现有模型无关方法相比，基于程序的解释方法在质量和紧凑性方面表现如何？
• RQ3 程序语法在多大程度上能自然地表示多种可解释模型类型，如决策树、线性模型和规则列表？
• RQ4 程序归纳技术能否生成既准确又易懂的解释，而无需用户具备专业知识？
• RQ5 在程序表达力（如循环、变量）与可解释性之间存在何种权衡？这些权衡应如何管理？

主要发现

• 程序能够使用一致且可读的语法表示广泛的可解释模型，如决策树、线性模型、决策列表和决策集。
• 基于模拟退火的原型在真实数据集（包括Adult和医院再入院数据集）上成功生成了紧凑且准确的程序化解释，适用于多种分类器。
• 生成的程序化解释在紧凑性和直观性方面优于标准模型无关解释，尤其在处理决策树时，生成了最小且可读的代码。
• 该方法表明，基于程序的解释能够以高保真度近似复杂模型（如随机森林和深度神经网络），同时保持人类可读性。
• 人工对比显示，生成的程序与手工编写的等效程序相比，达到同等或更优的紧凑性，表明其在自动化方面具有强大潜力。
• 该方法支持在简洁性与准确性之间的权衡，可为初学者生成更短的近似程序，或为专家生成更长的精确程序。