[论文解读] On the Safety of Interpretable Machine Learning: A Maximum Deviation Approach

Dennis Wei, Rahul Nair+4 more|arXiv (Cornell University)|Nov 2, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出一种最大偏差方法，通过测量在验证集上被评估模型与参考‘安全’模型之间的最大输出差异，来定量评估可解释机器学习模型的安全性。研究表明，可解释性使得决策树、广义线性模型和树集成等模型能够精确或紧致地计算该偏差的边界，尤其对分段Lipschitz函数，可获得更紧的遗憾边界，从而为量化模型安全性并指导模型选择提供了系统性方法。

ABSTRACT

Interpretable and explainable machine learning has seen a recent surge of interest. We focus on safety as a key motivation behind the surge and make the relationship between interpretability and safety more quantitative. Toward assessing safety, we introduce the concept of maximum deviation via an optimization problem to find the largest deviation of a supervised learning model from a reference model regarded as safe. We then show how interpretability facilitates this safety assessment. For models including decision trees, generalized linear and additive models, the maximum deviation can be computed exactly and efficiently. For tree ensembles, which are not regarded as interpretable, discrete optimization techniques can still provide informative bounds. For a broader class of piecewise Lipschitz functions, we leverage the multi-armed bandit literature to show that interpretability produces tighter (regret) bounds on the maximum deviation. We present case studies, including one on mortgage approval, to illustrate our methods and the insights about models that may be obtained from deviation maximization.

研究动机与目标

• 为监督机器学习模型的安全性提供一个定量评估框架。
• 将安全性形式化为模型预测与被视为安全的参考模型之间最大偏差的形式。
• 研究可解释性如何促进该最大偏差的更高效、更精确计算。
• 评估最大偏差方法在不同模型类别（包括可解释与不可解释模型）中的有效性。
• 通过抵押贷款审批数据的案例研究揭示关键特征组合如何导致极端模型输出，提供实用洞见。

提出的方法

• 将安全性评估形式化为优化问题：在验证集 C 上最大化偏差 D(f(x), f₀(x))，其中 f 为待评估模型，f₀ 为参考安全模型。
• 使用偏差度量 D（如 L2 范数或绝对差）量化模型输出之间的差异。
• 对于决策树、广义线性模型和可加模型等可解释模型，利用其结构特性精确计算最大偏差。
• 对于树集成模型，应用离散优化技术推导最大偏差的任意时间上下界。
• 推广至分段Lipschitz函数，并利用多臂赌博机遗憾边界，表明可解释性可使边界显著优于一般黑箱函数。
• 采用验证集 C，即覆盖合理输入的输入空间子集，定义偏差最大化的定义域。

实验结果

研究问题

• RQ1 如何从参考模型的偏差角度，形式化并定量定义模型安全性？
• RQ2 可解释性在多大程度上促进安全性评估中最大偏差的更高效、更精确计算？
• RQ3 最大偏差边界如何随模型复杂度和验证集规模变化？
• RQ4 能否为不可解释模型（如树集成）推导出具有信息量的最大偏差边界？
• RQ5 哪些特征组合导致最大偏差？这些组合为模型行为与领域验证提供了何种洞见？

主要发现

• 对于决策树、广义线性模型和可加模型，由于其结构可解释性，最大偏差可被精确且高效地计算。
• 对于树集成模型，离散优化技术可提供有关最大偏差的有信息量的上下界，且边界不随树的数量增加而上升。
• 在 Lending Club 抵押贷款审批案例研究中，最大偏差随验证集半径 r 增大而增加，当 r 较大时，dti > 800% 和 annual_inc = $100 等特征值出现，表明存在极端且可能不安全的输入。
• 使偏差最大化的特征组合（如高债务收入比、低收入、长贷款期限和高利率用途）揭示了模型的脆弱性，并与领域预期一致。
• 树基模型的最大偏差对模型复杂度敏感，例如逻辑回归中 ℓ₁ 范数越高，或可解释提升机中分箱数越多，偏差越大。
• 分析表明，即使事后解释显示局部忠实性，树集成等模型的全局行为仍可能与参考模型存在显著偏差，凸显了全局安全性评估的必要性。