[论文解读] The Price of Interpretability

Dimitris Bertsimas, Arthur Delarue+2 more|arXiv (Cornell University)|Jul 8, 2019

Explainable Artificial Intelligence (XAI)参考文献 35被引用 30

一句话总结

本文提出了一种通过可解释路径——一系列复杂度逐步提高的模型序列——来实现机器学习可解释性的形式化框架，支持对预测结果的逐步理解。该框架定义了一个参数化的可解释性度量族，广义化了稀疏性和树分裂等概念，量化了可解释性与预测准确率之间的权衡（即“可解释性代价”），并提出了高效的优化算法，实现快速收敛的近似最优解。

ABSTRACT

When quantitative models are used to support decision-making on complex and important topics, understanding a model's ``reasoning'' can increase trust in its predictions, expose hidden biases, or reduce vulnerability to adversarial attacks. However, the concept of interpretability remains loosely defined and application-specific. In this paper, we introduce a mathematical framework in which machine learning models are constructed in a sequence of interpretable steps. We show that for a variety of models, a natural choice of interpretable steps recovers standard interpretability proxies (e.g., sparsity in linear models). We then generalize these proxies to yield a parametrized family of consistent measures of model interpretability. This formal definition allows us to quantify the ``price'' of interpretability, i.e., the tradeoff with predictive accuracy. We demonstrate practical algorithms to apply our framework on real and synthetic datasets.

研究动机与目标

• 将可解释性形式化为一系列可解释的模型步骤，以实现对模型推理过程的系统性分析。
• 定义一个连贯的、参数化的可解释性度量族，广义化现有代理指标（如稀疏性和分裂次数）。
• 使用帕累托效率量化可解释性与预测准确率之间的权衡——即“可解释性代价”。
• 开发实用的优化算法，在真实和合成数据集上高效计算可解释模型。
• 在加州学校考试成绩真实数据上应用该框架，对线性模型进行改进，展示在不牺牲准确率的前提下提升可解释性。

提出的方法

• 模型通过可解释路径构建——即一系列复杂度逐步提升的模型，每个模型代表理解模型行为的一个步骤。
• 推导出一个满足一致性条件的参数化可解释性度量族，确保不同模型类型之间的逻辑一致性。
• 该框架广义化了标准的可解释性代理指标：线性模型中的稀疏性、决策树中的分裂次数，以及基于规则系统中的特征重要性。
• 构建一个优化问题，以寻找可解释性与预测准确率帕累托前沿上的模型，采用路径跟踪方法求解。
• 使用批量大小为 q 的局部改进启发式算法加速收敛，在数秒内达到近似最优解。
• 该方法应用于加州学校考试成绩的真实数据集，通过可解释步骤更新现有模型，同时最小化均方误差（MSE）。

实验结果

研究问题

• RQ1 如何在不同模型类型之间，形式化并量化机器学习中的可解释性？
• RQ2 模型可解释性与预测准确率之间的权衡是什么？如何系统地进行度量？
• RQ3 能否开发一个通用框架，以数学上一致的方式捕捉稀疏性或树深度等直观可解释性概念？
• RQ4 如何设计高效算法，以计算既准确又人类可理解的可解释模型？
• RQ5 可解释路径在模型优化中，相较于贪婪策略或直接系数更新方法，能多大程度上实现性能提升？

主要发现

• 所提出的可解释性度量广义化了现有代理指标，如线性模型中的稀疏性和决策树中的分裂次数，提供了一个统一且数学上一致的框架。
• 在加州学校考试成绩数据集上，可解释路径将均方误差（MSE）从 0.122 降低至 0.097——接近最优值 0.095——同时通过四个清晰、人类可读的步骤保持了可解释性。
• 采用批量大小 q=2 的局部改进启发式算法在 0.019 秒内达到最优解（0.00% 间隙），相比 Gurobi 的精确方法（5.078 秒）提速两个数量级。
• 可解释路径方法在短期成本增加与长期收益之间实现平衡，优于贪婪和直接系数更新方法，在收敛速度和可解释性方面表现更优。
• 可解释性代价曲线（图 8）使实践者能够选择在可解释性与准确率之间取得平衡的模型，当 log(λ) ≈ -1.65 时可实现近似最优性能。
• 该框架具有通用性，适用于多种模型类别，为高风险领域中的特定应用可解释性建模提供了基础。