[论文解读] Towards the Unification and Robustness of Perturbation and Gradient Based Explanations

Sushant Agarwal, Shahin Jabbari+4 more|arXiv (Cornell University)|Feb 21, 2021

Explainable Artificial Intelligence (XAI)被引用 12

一句话总结

本文通过推导闭式表达式，统一了基于扰动的（Continuous LIME）与基于梯度的（SmoothGrad）解释方法，证明二者在期望下收敛于相同的解释。它证明了在足够多扰动下，两种方法均具有鲁棒性且满足Lipschitz连续性，为黑箱模型的局部模型解释提供了理论保证，涵盖收敛性与鲁棒性。

ABSTRACT

As machine learning black boxes are increasingly being deployed in critical domains such as healthcare and criminal justice, there has been a growing emphasis on developing techniques for explaining these black boxes in a post hoc manner. In this work, we analyze two popular post hoc interpretation techniques: SmoothGrad which is a gradient based method, and a variant of LIME which is a perturbation based method. More specifically, we derive explicit closed form expressions for the explanations output by these two methods and show that they both converge to the same explanation in expectation, i.e., when the number of perturbed samples used by these methods is large. We then leverage this connection to establish other desirable properties, such as robustness, for these techniques. We also derive finite sample complexity bounds for the number of perturbations required for these methods to converge to their expected explanation. Finally, we empirically validate our theory using extensive experimentation on both synthetic and real world datasets.

研究动机与目标

• 建立基于扰动的（LIME）与基于梯度的（SmoothGrad）事后解释方法之间的理论联系。
• 为两种方法推导出显式的闭式表达式，并证明其在期望下的收敛性。
• 在大样本条件下，证明两种方法的鲁棒性与Lipschitz连续性。
• 推导出收敛至期望解释的有限样本复杂度边界。
• 通过医疗、金融与电子商务领域的真实数据集与合成数据集，对理论结论进行实证验证。

提出的方法

• 为Continuous LIME（LIME的非离散化变体）与SmoothGrad推导出显式的闭式解释表达式。
• 证明随着扰动样本数量的增加，两种方法在期望下收敛至相同的解释。
• 利用该等价性证明Lipschitz连续性，从而建立对小输入扰动的鲁棒性。
• 推导出为实现收敛至期望解释所需扰动数量的有限样本复杂度边界。
• 证明在推导条件下，两种方法均满足线性性及其他理想属性。
• 使用医疗、金融与电子商务领域的真实与合成数据集，对理论结论进行实证验证。

实验结果

研究问题

• RQ1 基于扰动与基于梯度的解释方法是否在期望下收敛至相同的解释？
• RQ2 是否可利用Continuous LIME与SmoothGrad之间的理论等价性，证明其鲁棒性？
• RQ3 两种方法收敛至其期望解释所需的有限样本复杂度是多少？
• RQ4 在小输入扰动下，两种方法是否可被证明具有鲁棒性？
• RQ5 如扰动方差等超参数如何影响收敛性与鲁棒性？

主要发现

• 随着扰动数量的增加，Continuous LIME与SmoothGrad在期望下收敛至相同的解释。
• 在使用足够多样本时，两种方法均具有Lipschitz连续性，因此对小输入扰动具有鲁棒性。
• 推导出收敛至期望解释的理论有限样本复杂度边界。
• 实证结果表明，两种方法的收敛速度比理论预测更快，且所需扰动更少。
• SmoothGrad在较少扰动下即可实现鲁棒性，且收敛速度优于Continuous LIME。
• 较小的扰动方差可提升两种方法的收敛速度与鲁棒性。