[论文解读] Optimal Counterfactual Explanations in Tree Ensembles

Axel Parmentier, Thibaut Vidal|arXiv (Cornell University)|Jun 11, 2021

Adversarial Robustness in Machine Learning参考文献 29被引用 8

一句话总结

该论文提出了一种混合整数规划框架，通过使用对数数量的二元变量建模决策路径，并结合孤立森林以确保合理性，从而在树集成模型中生成最优、可操作且合理的反事实解释。该方法在大规模数据集上可在数秒内获得最优解，相较于以往的启发式方法，在稳定性、可解释性和可扩展性方面表现更优。

ABSTRACT

Counterfactual explanations are usually generated through heuristics that are sensitive to the search's initial conditions. The absence of guarantees of performance and robustness hinders trustworthiness. In this paper, we take a disciplined approach towards counterfactual explanations for tree ensembles. We advocate for a model-based search aiming at "optimal" explanations and propose efficient mixed-integer programming approaches. We show that isolation forests can be modeled within our framework to focus the search on plausible explanations with a low outlier score. We provide comprehensive coverage of additional constraints that model important objectives, heterogeneous data types, structural constraints on the feature space, along with resource and actionability restrictions. Our experimental analyses demonstrate that the proposed search approach requires a computational effort that is orders of magnitude smaller than previous mathematical programming algorithms. It scales up to large data sets and tree ensembles, where it provides, within seconds, systematic explanations grounded on well-defined models solved to optimality.

研究动机与目标

• 解决基于启发式方法的树集成模型反事实解释中存在的可信度与鲁棒性不足问题。
• 克服现有方法对初始条件敏感且缺乏解质量保证的局限性。
• 提供一种可扩展的、基于数学原理的框架，整合领域特定约束，如可操作性、合理性以及特征类型的异质性。
• 实现系统化、最优的反事实搜索，同时具备适用于大规模数据集和复杂模型的计算效率。
• 将孤立森林集成到优化模型中，通过聚焦特征空间的高密度区域来强制实现合理性。

提出的方法

• 通过相对于树顶点数量的对数数量的二元变量来建模树集成的决策路径，与先前方法相比显著减小了模型规模。
• 将反事实搜索形式化为混合整数线性或二次规划（MILP/MIQP），以确保解的最优性与稳定性。
• 将孤立森林的异常值得分作为约束条件，限制反事实位于特征空间中低异常值得分、高合理性区域。
• 通过定制化的约束公式，支持异质数据类型（数值型、有序型、二值型、分类型）以及切斜分裂。
• 通过 MILP 框架内的线性与逻辑约束，整合可操作性与结构约束。
• 利用现代 MIP 求解器，在包含超过 50 个特征和数百棵树的数据集上实现亚秒级求解时间。

实验结果

研究问题

• RQ1 能否通过数学规划在树集成模型中生成具有解质量与稳定性保证的最优反事实解释？
• RQ2 如何在不依赖分布假设的前提下系统性地强制实现反事实的合理性？
• RQ3 集成孤立森林在多大程度上提升了反事实的合理性，同时保持计算效率？
• RQ4 所提出的框架在大规模数据集和复杂树集成模型上是否具备可扩展性，且适用于实际部署？
• RQ5 额外约束（如可操作性与特征空间结构）对反事实解释的性能与质量有何影响？

主要发现

• 所提出的 OCEAN 框架在包含超过 50 个特征和数百棵树的数据集上，平均可在 2 秒内生成最优反事实解释。
• 在所有测试数据集中，通过引入孤立森林约束，合理反事实的比例从无约束时的中位数 35% 提升至 100%。
• 添加孤立森林约束后，计算成本仅增加约两倍，考虑到合理性显著提升，该增幅可接受。
• 在 8 个数据集中的 6 个上，使用孤立森林约束时实现 100% 的合理性，而无约束时仅为 25–55%。
• 该框架具有高效可扩展性：随着特征数量增加，求解时间保持稳定，得益于稀疏约束矩阵与对数数量的变量。
• 与先前的数学规划方法相比，本方法通过指数级减少二元变量数量，显著提升了大规模树集成模型的可扩展性。