[论文解读] "Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations

Yujia Zhang, Kuangyan Song+3 more|arXiv (Cornell University)|Apr 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 28被引用 69

一句话总结

本文在 LIME 解释中识别出三种不确定来源——采样随机性、基于近邻的变异性，以及跨点可信度——并演示在不同数据点和数据集上的不稳定性，包括合成数据、20 Newsgroups 和 COMPAS mimic data。

ABSTRACT

Methods for interpreting machine learning black-box models increase the outcomes' transparency and in turn generates insight into the reliability and fairness of the algorithms. However, the interpretations themselves could contain significant uncertainty that undermines the trust in the outcomes and raises concern about the model's reliability. Focusing on the method "Local Interpretable Model-agnostic Explanations" (LIME), we demonstrate the presence of two sources of uncertainty, namely the randomness in its sampling procedure and the variation of interpretation quality across different input data points. Such uncertainty is present even in models with high training and test accuracy. We apply LIME to synthetic data and two public data sets, text classification in 20 Newsgroup and recidivism risk-scoring in COMPAS, to support our argument.

研究动机与目标

• 识别并分类 LIME 解释中的不确定来源。
• 展示采样和近邻性如何影响 LIME 特征选择。
• 显示不同数据点和数据集上的解释变异性。
• 讨论对事后解释的可信度和可靠性的含义。

提出的方法

• 定义 LIME 解释中的三种不确定性来源：采样方差、近邻敏感度和跨点可信度变异。
• 使用合成树生成数据来研究采样方差和近邻效应。
• 将 LIME 应用于 20 Newsgroups 的文本分类，以评估跨文档的局部解释可信度。
• 分析 COMPAS mimic 模型以考察 LIME 解释的一致性及潜在的公平性信号。

实验结果

研究问题

• RQ1 LIME 解释的主要不确定性来源是什么？
• RQ2 采样方差如何影响给定输入的 LIME 特征选择的稳定性？
• RQ3 采样近邻和参数选择如何影响 LIME 的解释？
• RQ4 LIME 解释是否在不同数据点之间呈现可信度变异？这对可信度有什么含义？
• RQ5 在像 COMPAS mimic data 这样的真实世界数据集上，LIME 解释是否具有一致性和可信度？

主要发现

• 采样方差导致在同一数据点的重复 LIME 试验中选择不同的特征。
• 较小的采样近邻往往捕捉局部重要特征，而较大的近邻捕捉更多全局特征。
• 解释在不同数据点之间变化，导致局部解释中模型可信度的变化。
• 在 20 Newsgroups 文本分类中，某些顶层特征在一个文档中有意义，在另一个文档中则无信息，指示可信度不一致。
• 在 COMPAS mimic 数据集上，解释在数据点和试验之间相对一致，暗示该情形下的潜在可信度，并突出人口统计特征的影响。