[论文解读] OptiLIME: Optimized LIME Explanations for Diagnostic Computer Algorithms

Giorgio Visani, E. Bagli+1 more|arXiv (Cornell University)|Jun 10, 2020

Explainable Artificial Intelligence (XAI)参考文献 33被引用 18

一句话总结

OptiLIME 是一种新颖的框架，通过优化核宽以平衡原始模型的拟合度与解释的可靠性，增强了 LIME 在解释诊断性机器学习模型时的稳定性。它使用贝叶斯优化自动选择最佳核宽，确保生成稳定、可解释且数学上透明的解释——尤其在高风险的医疗应用中具有重要价值。

ABSTRACT

Local Interpretable Model-Agnostic Explanations (LIME) is a popular method to perform interpretability of any kind of Machine Learning (ML) model. It explains one ML prediction at a time, by learning a simple linear model around the prediction. The model is trained on randomly generated data points, sampled from the training dataset distribution and weighted according to the distance from the reference point - the one being explained by LIME. Feature selection is applied to keep only the most important variables. LIME is widespread across different domains, although its instability - a single prediction may obtain different explanations - is one of the major shortcomings. This is due to the randomness in the sampling step, as well as to the flexibility in tuning the weights and determines a lack of reliability in the retrieved explanations, making LIME adoption problematic. In Medicine especially, clinical professionals trust is mandatory to determine the acceptance of an explainable algorithm, considering the importance of the decisions at stake and the related legal issues. In this paper, we highlight a trade-off between explanation's stability and adherence, namely how much it resembles the ML model. Exploiting our innovative discovery, we propose a framework to maximise stability, while retaining a predefined level of adherence. OptiLIME provides freedom to choose the best adherence-stability trade-off level and more importantly, it clearly highlights the mathematical properties of the retrieved explanation. As a result, the practitioner is provided with tools to decide whether the explanation is reliable, according to the problem at hand. We extensively test OptiLIME on a toy dataset - to present visually the geometrical findings - and a medical dataset. In the latter, we show how the method comes up with meaningful explanations both from a medical and mathematical standpoint.

研究动机与目标

• 解决 LIME 在因随机采样导致相同预测生成不一致解释的不稳定性问题。
• 通过提升稳定性而不牺牲模型拟合度，增强 LIME 在医疗领域解释的可信度。
• 为从业者提供一种系统化的方法，以选择解释稳定性与原始机器学习模型拟合度之间的最佳权衡。
• 实现透明、数学基础坚实的解释，支持临床决策与责任追溯。
• 开发一种框架，基于用户定义的拟合度阈值自动选择核宽，提升可用性与可靠性。

提出的方法

• 将 LIME 分解为核心组件：采样、加权、特征选择与局部线性模型拟合。
• 使用贝叶斯优化搜索最优核宽，以在保持预设拟合度水平（R² ≥ 0.9）的同时最大化稳定性。
• 将岭回归惩罚替换为标准线性回归，证明其性能更优且避免了不必要的正则化。
• 采用基于方差的指标（VSI 与 CSI）量化多次运行中解释的一致性，以衡量稳定性。
• 集成用户定义的拟合度阈值（例如 R² ≥ 0.9），将优化限制在能准确反映原始模型局部行为的解释范围内。
• 在玩具数据集上进行可视化，并在真实医疗数据集（NHANES）上应用该框架，以验证性能与临床相关性。

实验结果

研究问题

• RQ1 LIME 中核宽的选择如何影响局部解释的稳定性与拟合度？
• RQ2 自动化框架能否优化核宽，以实现解释稳定性与原始模型保真度之间的理想权衡？
• RQ3 岭正则化对 LIME 性能有何影响？是否对生成稳定且准确的解释是必要的？
• RQ4 OptiLIME 在真实世界医疗数据集中，能在多大程度上生成稳定、可靠且具有临床意义的解释？
• RQ5 不同个体（如年长与年轻患者）的解释敏感性如何受局部模型行为的影响？

主要发现

• OptiLIME 在保持用户要求的 R² ≥ 0.9 拟合度水平的同时，成功实现了高稳定性（VSI 与 CSI 值较低）。
• 对于给定实例，最优核宽取决于原始机器学习模型的局部非线性程度，非线性越强的区域需要更窄的核宽。
• 对于 Unit 100（年龄 65 岁），最优核宽高于 Unit 7207（年龄 49 岁），反映出前者局部非线性程度较低。
• 更小的核宽可产生更拟合的解释，但会降低稳定性，验证了保真度与一致性之间的权衡。
• LIME 中使用岭惩罚是不必要且具有破坏性的；简单线性回归在拟合度与稳定性方面均优于岭回归。
• OptiLIME 降低了多次运行间的解释不一致性，单个实例的计算时间在 4 核笔记本电脑上为 123–147 秒，使用 p=10、m=30 的贝叶斯搜索参数。