[论文解读] SurvLIME-Inf: A simplified modification of SurvLIME for explanation of machine learning survival models

Lev V. Utkin, Maxim S. Kovalev+1 more|arXiv (Cornell University)|May 5, 2020

Explainable Artificial Intelligence (XAI)参考文献 57被引用 4

一句话总结

本文提出 SurvLIME-Inf，即 SurvLIME 的简化改进版本，采用 $L_{\infty}$-范数（切比雪夫距离）来衡量解释黑箱生存模型时累积风险函数之间的差异。通过将解释任务重新表述为线性规划问题，SurvLIME-Inf 在小规模训练数据集上相比依赖 $L_2$-范数优化的 SurvLIME 实现了更快的计算速度和更优的性能。

ABSTRACT

A new modification of the explanation method SurvLIME called SurvLIME-Inf for explaining machine learning survival models is proposed. The basic idea behind SurvLIME as well as SurvLIME-Inf is to apply the Cox proportional hazards model to approximate the black-box survival model at the local area around a test example. The Cox model is used due to the linear relationship of covariates. In contrast to SurvLIME, the proposed modification uses $L_{\infty }$-norm for defining distances between approximating and approximated cumulative hazard functions. This leads to a simple linear programming problem for determining important features and for explaining the black-box model prediction. Moreover, SurvLIME-Inf outperforms SurvLIME when the training set is very small. Numerical experiments with synthetic and real datasets demonstrate the SurvLIME-Inf efficiency.

研究动机与目标

• 为解决在训练数据有限的情况下解释黑箱机器学习生存模型的挑战。
• 通过简化其优化框架，改进 SurvLIME 以提升计算效率和鲁棒性。
• 利用 Cox 比例风险模型作为代理模型，实现对生存预测的局部事后解释。
• 通过利用 $L_{\infty}$-范数测量累积风险函数之间的距离，增强生存分析中的可解释性。
• 支持医疗和风险评估等对模型透明度要求较高的应用场景。

提出的方法

• 该方法使用 Cox 比例风险模型作为局部代理模型，用于解释黑箱生存模型在测试样本点上的预测结果。
• 在测试点周围生成合成样本，并利用黑箱模型计算其累积风险函数。
• 采用 $L_{\infty}$-范数（切比雪夫距离）来度量黑箱模型与近似 Cox 模型之间累积风险函数的最大绝对差异。
• 这将解释问题转化为一个线性规划优化任务，以估计 Cox 模型的系数。
• 该方法具有模型无关性，适用于任何生存模型，包括随机生存森林和深度学习模型。
• 该方法在合成数据和真实世界数据集（Veteran、LUNG、PBC）上进行了验证，其生存结果存在删失。

实验结果

研究问题

• RQ1 在 SurvLIME 中用 $L_{\infty}$-范数替代 $L_2$-范数是否能提升解释的准确性和计算效率？
• RQ2 当训练数据稀缺时，SurvLIME-Inf 是否优于 SurvLIME？
• RQ3 SurvLIME-Inf 在局部近似中是否能较好地保持生存函数和累积风险函数的形状？
• RQ4 SurvLIME-Inf 是否能为个体生存预测提供可靠且可解释的特征重要性排序？
• RQ5 与 SurvLIME 中使用的凸优化相比，SurvLIME-Inf 的线性规划公式是否对数据不精确性更具鲁棒性？

主要发现

• 在小规模训练集上，SurvLIME-Inf 显著优于 SurvLIME，当 $n = 10$ 和 $n = 20$ 时，对模型近似和真实累积风险函数的 RMSE 均更低。
• 当 $n = 10$ 时，$RMSE_{\text{model}}$ 从 SurvLIME 的 0.719 降低至 0.290，$RMSE_{\text{true}}$ 从 0.809 降低至 0.575。
• 当 $n = 20$ 时，$RMSE_{\text{model}}$ 从 0.659 降至 0.358，$RMSE_{\text{true}}$ 从 0.664 降至 0.460。
• 随着训练集规模增大，SurvLIME-Inf 的性能优势逐渐减弱，当 $n = 30$ 和 $n = 40$ 时，两种方法趋于收敛。
• 在真实数据集（Veteran、LUNG、PBC）上的数值结果证实，SurvLIME-Inf 能生成准确且视觉一致的生存函数近似。
• 使用 $L_{\infty}$-范数使得问题可转化为线性规划，简化了计算流程，提升了小样本场景下的可扩展性。