[论文解读] Robust Counterfactual Explanations for Tree-Based Ensembles

Sanghamitra Dutta, Jason Long+3 more|arXiv (Cornell University)|Jul 6, 2022

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出 RobX，一种后处理框架，通过引入一种新颖的度量标准——反事实稳定性（Counterfactual Stability），提升树模型集成（如 XGBoost）的反事实解释的鲁棒性，该度量标准可量化模型微调后反事实的稳定性。RobX 迭代优化任意基方法生成的反事实，确保模型更新后反事实有效性接近 100%，同时保持其现实性和低代价扰动。

ABSTRACT

Counterfactual explanations inform ways to achieve a desired outcome from a machine learning model. However, such explanations are not robust to certain real-world changes in the underlying model (e.g., retraining the model, changing hyperparameters, etc.), questioning their reliability in several applications, e.g., credit lending. In this work, we propose a novel strategy -- that we call RobX -- to generate robust counterfactuals for tree-based ensembles, e.g., XGBoost. Tree-based ensembles pose additional challenges in robust counterfactual generation, e.g., they have a non-smooth and non-differentiable objective function, and they can change a lot in the parameter space under retraining on very similar data. We first introduce a novel metric -- that we call Counterfactual Stability -- that attempts to quantify how robust a counterfactual is going to be to model changes under retraining, and comes with desirable theoretical properties. Our proposed strategy RobX works with any counterfactual generation method (base method) and searches for robust counterfactuals by iteratively refining the counterfactual generated by the base method using our metric Counterfactual Stability. We compare the performance of RobX with popular counterfactual generation methods (for tree-based ensembles) across benchmark datasets. The results demonstrate that our strategy generates counterfactuals that are significantly more robust (nearly 100% validity after actual model changes) and also realistic (in terms of local outlier factor) over existing state-of-the-art methods.

研究动机与目标

• 为解决现有树模型集成反事实解释在模型微调或超参数变化后缺乏鲁棒性的问题。
• 量化在模型扰动下（尤其是 XGBoost 等非光滑、不可微模型）反事实的稳定性。
• 开发一种后处理策略，在不损害现实性或代价的前提下提升鲁棒性，确保反事实在模型更新后仍保持有效。
• 为模型变化下反事实失效的概率提供理论保证，提升在信贷审批等高风险应用中的可信度。

提出的方法

• 提出一种新颖度量标准——反事实稳定性 $ R_{\tilde{\theta}}(x, M) $，用于量化在模型微调下反事实 $ x $ 保持有效性的可能性，通过测量其在参数空间中的稳定性。
• 将保守反事实（Conservative Counterfactuals）定义为决策边界另一侧、距离最近且满足最小稳定性阈值 $ R_{\tilde{\theta}}(x, M) \geq \tau $ 的数据集中的邻居，从而提供理论上的鲁棒性保障。
• 提出 RobX 作为后处理算法，通过将任意基反事实（如 FT、FOCUS、NN、FACE）向保守反事实方向迭代优化，同时最小化 $ L_1 $ 或 $ L_2 $ 代价。
• 采用基于稳定性的迭代优化循环，检查当前反事实是否满足 $ R_{\tilde{\theta}}(x, M) \geq \tau $ 条件，通过逐步改进确保鲁棒性。
• 使用局部离群点因子（LOF）作为现实性的代理指标，确保优化后的反事实保持在数据流形附近，避免产生异常扰动。
• 在基准数据集（HELOC、German Credit）上应用该方法，与最先进基方法及替代策略（如提高模型阈值 $ \gamma $）进行比较。

实验结果

研究问题

• RQ1 如何量化树模型集成中反事实解释在模型微调下的鲁棒性？这类模型具有非光滑、不可微特性。
• RQ2 能否设计一种后处理框架，在不增加代价或降低现实性的情况下，提升现有反事实生成方法的鲁棒性？
• RQ3 在模型变化下，反事实失效的概率具有何种理论保证？该理论保证在实际中如何应用？
• RQ4 RobX 在有效性、代价和现实性方面，相较于基线方法及替代鲁棒性策略（如提高模型阈值 $ \gamma $）的性能表现如何？

主要发现

• RobX 在多个数据集上模型微调后实现接近 100% 的反事实有效性，显著优于基线方法（如 FOCUS、FT、NN），后者有效性最低降至 65.7%。
• 在 HELOC 数据集上，FOCUS 使用 $ \gamma = 0.8 $ 时有效性为 83.9%，而使用 RobX 后有效性提升至 98.0%，$ L_1 $ 代价仅从 0.74 略增至 2.20。
• 在 German Credit 数据集上，RobX 将有效性从基线 FOCUS 的 65.7% 提升至 96.5%，代价增加极少；在 $ \gamma = 0.99 $ 时实现 100% 有效性，而基线 FOCUS 仅为 97.7%。
• RobX 同时提升了 FACE（基于数据流形的方法）的鲁棒性与代价，$ L_1 $ 代价仅小幅增加，LOF 略有改善，表明其现实性得到增强。
• 提高模型阈值 $ \gamma $ 以增强鲁棒性的策略被发现不切实际，因其导致现实性差（LOF 低）且计算时间过长，有时甚至无法找到任何反事实。
• RobX 生成的反事实保持了较低的 $ L_1 $ 和 $ L_2 $ 代价（例如，$ L_1 $ 代价平均仅增加 1.0–1.5 个单位），同时实现近乎完美的有效性，展现出显著的权衡优化优势。