[论文解读] Uncertainty Estimation and Out-of-Distribution Detection for Counterfactual Explanations: Pitfalls and Solutions

Eoin Delaney, Derek Greene+1 more|arXiv (Cornell University)|Jul 20, 2021

Explainable Artificial Intelligence (XAI)参考文献 42被引用 12

一句话总结

本文提出了使用蒙特卡洛丢弃和信任分数的实用方法，以估计不确定性并检测分布外（OoD）的反事实解释。实验证明，这些技术通过识别模糊、缺乏依据或对抗性的反事实解释，提高了高风险人工智能应用中的可靠性，其中Proto-CF尽管在视觉上合理，但表现出高不确定性与低信任分数。

ABSTRACT

Whilst an abundance of techniques have recently been proposed to generate counterfactual explanations for the predictions of opaque black-box systems, markedly less attention has been paid to exploring the uncertainty of these generated explanations. This becomes a critical issue in high-stakes scenarios, where uncertain and misleading explanations could have dire consequences (e.g., medical diagnosis and treatment planning). Moreover, it is often difficult to determine if the generated explanations are well grounded in the training data and sensitive to distributional shifts. This paper proposes several practical solutions that can be leveraged to solve these problems by establishing novel connections with other research works in explainability (e.g., trust scores) and uncertainty estimation (e.g., Monte Carlo Dropout). Two experiments demonstrate the utility of our proposed solutions.

研究动机与目标

• 为解决反事实解释中缺乏不确定性估计的问题，该问题可能导致在医疗等高风险领域产生误导性或有害的补救建议。
• 识别并减轻分布外（OoD）反事实解释的风险，这些解释未基于训练数据。
• 利用不确定性与信任度度量，评估现有反事实生成方法在分布偏移下的鲁棒性。
• 提出实用、架构无关的工具——蒙特卡洛丢弃与信任分数——以评估解释的不确定性与数据分布一致性。
• 通过实证评估，为未来开发更可靠、可信且经用户验证的反事实解释提供指导。

提出的方法

• 通过在启用丢弃的神经网络中进行多次前向传播，使用蒙特卡洛丢弃来估计反事实解释中的认知不确定性。
• 将信任分数用作分布外检测的代理指标，衡量反事实与反事实类别训练数据的相似程度。
• 将这些方法应用于评估三种最先进的反事实技术：NUN-CF、W-CF 和 Proto-CF，涵盖表格数据、图像数据与时间序列数据。
• 将不确定性估计与模型无关的评估相结合，避免对模型架构或自编码器可用性的假设。
• 通过与蒙特卡洛丢弃不确定性及真实数据分布一致性进行比较，验证了信任分数的有效性。
• 使用MC-Mean与信任分数均值作为定量指标，评估生成反事实的不确定性与分布合理性。

实验结果

研究问题

• RQ1 如何可靠地估计反事实解释中的不确定性，以避免产生过度自信且可能有害的建议？
• RQ2 现有反事实生成方法在面对分布偏移时有多大的鲁棒性？如何检测分布外的解释？
• RQ3 信任分数能否作为评估反事实解释在训练数据中合理性与依据性的可靠、模型无关的代理指标？
• RQ4 在不同数据类型中，不同反事实方法（如NUN-CF、W-CF、Proto-CF）在不确定性与可信度方面有何差异？
• RQ5 在高风险领域中，高不确定性与低信任分数对反事实解释实际部署具有何种实际影响？

主要发现

• 图像领域中由Proto-CF生成的反事实解释表现出高不确定性（MC-Mean ≈ 0.67）与低信任分数（均值 = 0.977 ± 0.008），表明尽管视觉上合理，但其在训练数据中缺乏依据。
• W-CF生成的解释与原始误分类样本的信任分数几乎完全相同，表明其与对抗性样本无明显区别，且常因微小像素扰动而难以察觉。
• NUN-CF生成的反事实解释不确定性显著较低（MC-Mean ≈ 0.93），信任分数较高，表明其与训练数据高度一致，尽管在复杂场景中可能缺乏稀疏性或接近性。
• 信任分数有效捕捉了分布一致性，并作为不确定性的稳健代理，优于原始Softmax概率在识别OoD解释方面的表现。
• 研究结果表明，即使视觉上合理的反事实解释（如模糊或轻微扰动的图像）也可能具有高度不确定性与不可信性，凸显了正式不确定性估计的必要性。
• 结果强调了在反事实解释系统中引入不确定性感知评估的紧迫需求，尤其是在模型可信度与安全性至关重要的医疗等领埴。