[论文解读] Optimal Counterfactual Explanations for Scorecard modelling

Guillermo Navas-Palencia|arXiv (Cornell University)|Apr 17, 2021

Forecasting Techniques and Applications参考文献 14被引用 6

一句话总结

本文提出混合整数规划公式，用于在金融评分卡模型中生成最优、多样化的反事实解释，采用多目标优化方法平衡接近度、稀疏性和现实性。该方法利用 CP-SAT 在数秒内高效生成高质量反事实结果，并提供不可行性证明，且在真实世界数据集上表现强劲。

ABSTRACT

Counterfactual explanations is one of the post-hoc methods used to provide explainability to machine learning models that have been attracting attention in recent years. Most examples in the literature, address the problem of generating post-hoc explanations for black-box machine learning models after the rejection of a loan application. In contrast, in this work, we investigate mathematical programming formulations for scorecard models, a type of interpretable model predominant within the banking industry for lending. The proposed mixed-integer programming formulations combine objective functions to ensure close, realistic and sparse counterfactuals using multi-objective optimization techniques for a binary, probability or continuous outcome. Moreover, we extend these formulations to generate multiple optimal counterfactuals simultaneously while guaranteeing diversity. Experiments on two real-world datasets confirm that the presented approach can generate optimal diverse counterfactuals addressing desired properties with assumable CPU times for practice use.

研究动机与目标

• 解决当前缺乏针对银行与金融领域中使用的可解释评分卡模型而专门设计的基于优化的反事实方法的问题。
• 开发数学规划公式，以生成满足关键属性的反事实：与输入的接近度、稀疏性、现实性以及多样性。
• 将公式扩展至同时生成多个多样化反事实，同时确保其在多目标准则下为最优。
• 提供实用且可扩展的解决方案，具备不可行性证明能力，并在实际部署中保持可接受的计算时间。

提出的方法

• 将反事实生成建模为混合整数规划问题，目标是最小化输入与反事实之间的距离函数，同时满足通过评分卡模型实现期望结果的约束。
• 通过加权或分层的多目标策略，整合多个目标：接近度、稀疏性（通过特征变更限制 Θ 实现）以及接近度（通过特征值约束实现）。
• 通过硬性约束控制特征值（FV）和特征变更（F）来确保多个反事实之间的多样性，从而保证变量修改组合的差异性。
• 使用 CP-SAT 求解器高效求解优化问题，实现快速计算与不可行性检测。
• 通过与 MIP 求解器兼容的分段线性近似方法，将评分卡结果建模为二值、概率或连续输出。
• 通过排除非可操作特征（如性别、种族）的修改，整合可操作性约束，确保实际可行性。

实验结果

研究问题

• RQ1 混合整数规划公式能否为金融领域的评分卡模型生成最优、多样化且现实的反事实解释？
• RQ2 在反事实生成过程中，接近度、稀疏性和接近度目标之间如何权衡？何种多目标策略能最佳平衡三者？
• RQ3 在实际约束下，同时生成多个多样化反事实的计算性能如何？
• RQ4 该方法在检测不可行反事实场景方面效果如何？哪些因素会影响不可行性？

主要发现

• 所提方法在使用 CP-SAT 时，单个数据点的反事实生成时间在 4 秒以内，且在多种配置下结果稳定。
• 当可操作特征和多样性约束过紧时，不可行性可在 0.8 秒内被快速检测到，证实了该方法具备不可行性认证能力。
• 当 K=5 且 Θ=5 时，该方法生成了可行的反事实，其预测概率范围在 0.502 至 0.526 之间，表明结果控制具有一致性。
• 若排除接近度目标，反事实将出现更大的特征值变动，证实接近度目标有助于提升现实性与实用性。
• 该方法成功避免对性别、种族等非可操作特征进行修改，确保了伦理与实际可行性。
• 在加权策略下结合多样性约束（F + FV），该方法为 Adult-Income 数据集生成了四个不同的反事实，每个反事实仅对可操作特征进行了最小且现实的修改。