[论文解读] Why should you trust my interpretation? Understanding uncertainty in LIME predictions.

Hui Fen Tan, Kuangyan Song+3 more|arXiv (Cornell University)|Apr 29, 2019

Explainable Artificial Intelligence (XAI)被引用 17

一句话总结

本文研究了LIME解释中的不确定性，识别出两个关键来源：采样随机性和不同数据点间解释质量的差异。即使模型准确率很高，LIME的解释仍然可能不稳定且不可靠，从而削弱对黑箱模型解释的信任。

ABSTRACT

Methods for interpreting machine learning black-box models increase the outcomes' transparency and in turn generates insight into the reliability and fairness of the algorithms. However, the interpretations themselves could contain significant uncertainty that undermines the trust in the outcomes and raises concern about the model's reliability. Focusing on the method Local Interpretable Model-agnostic Explanations (LIME), we demonstrate the presence of two sources of uncertainty, namely the randomness in its sampling procedure and the variation of interpretation quality across different input data points. Such uncertainty is present even in models with high training and test accuracy. We apply LIME to synthetic data and two public data sets, text classification in 20 Newsgroup and recidivism risk-scoring in COMPAS, to support our argument.

研究动机与目标

• 研究机器学习模型中LIME解释的可靠性。
• 识别并分析LIME解释生成过程中不确定性来源。
• 评估不同输入数据点间解释稳定性的变化。
• 证明高模型准确率并不能保证LIME解释的可信或一致。
• 评估不确定性对现实应用中模型可解释性信任的影响。

提出的方法

• 本研究将LIME应用于合成数据、20 Newsgroup文本分类数据集以及COMPAS再犯风险评分数据集。
• 通过在相同输入上使用不同随机种子多次运行LIME，评估采样变异性，以检验解释的稳定性。
• 通过特征重要性的一致性以及在有真实解释时与真实解释的接近程度来衡量解释质量。
• 通过比较不同输入实例的LIME解释，检测其可靠性和稳定性的变化。
• 通过分析多次LIME运行中特征权重和所选特征的方差来量化不确定性。
• 使用统计分析关联模型性能（训练/测试准确率）与解释可靠性。

实验结果

研究问题

• RQ1 哪些不确定性来源影响了LIME的解释质量？
• RQ2 采样随机性在多大程度上影响了LIME解释的稳定性？
• RQ3 即使在高准确率模型中，不同输入数据点的解释质量是否仍存在显著差异？
• RQ4 高模型准确率在多大程度上与可靠的LIME解释相关？
• RQ5 LIME中的不确定性在多大程度上影响了对模型可解释性的信任？

主要发现

• 由于采样过程中的随机性，LIME表现出显著的不确定性，导致不同运行中特征重要性排序不一致。
• 即使底层模型表现良好，不同输入数据点的解释质量也存在显著差异。
• 高训练和测试准确率并不能确保LIME解释的稳定或可靠，这挑战了对可解释性可信度的既定假设。
• LIME在不同运行中特征选择的差异削弱了单个解释的可重现性和可信度。
• 即使在性能良好的模型中，LIME解释的不确定性依然存在，这对其在高风险决策场景中的应用提出了担忧。
• 本研究表明，LIME的解释可能不稳定且不可靠，特别是在如再犯风险评分等敏感应用中。