[论文解读] On the computation of counterfactual explanations -- A survey

André Artelt, Barbara Hammer|arXiv (Cornell University)|Nov 15, 2019

Explainable Artificial Intelligence (XAI)参考文献 21被引用 17

一句话总结

本综述提出了一类面向特定模型的高效计算反事实解释的方法，通过优化技术（如差-凸规划和半定规划）求解非凸二次约束二次规划（QCQPs）。其主要贡献在于构建了一个系统性框架，通过利用模型内部结构，相较于模型无关方法显著提升了计算效率与解的质量。

ABSTRACT

Due to the increasing use of machine learning in practice it becomes more and more important to be able to explain the prediction and behavior of machine learning models. An instance of explanations are counterfactual explanations which provide an intuitive and useful explanations of machine learning models. In this survey we review model-specific methods for efficiently computing counterfactual explanations of many different machine learning models and propose methods for models that have not been considered in literature so far.

研究动机与目标

• 为高风险应用场景（如贷款审批和预测性警务）中日益增长的可解释机器学习需求提供解决方案。
• 克服模型无关反事实方法的局限性，后者通常计算成本高且效率低下。
• 开发利用模型内部结构的特定模型算法，以更高效地计算高质量反事实。
• 将现有方法扩展至文献中此前未涵盖的机器学习模型。
• 提供一个统一的优化框架用于反事实计算，涵盖非凸QCQP及基于对偶性的解法。

提出的方法

• 本文将反事实生成建模为一个约束优化问题，通过最小化目标预测的损失函数和与原始输入接近程度的正则化项来实现。
• 通过使用对称半正定（s.p.s.d.）矩阵对模型的决策边界进行建模，使约束能够以优化问题中的二次型形式表示。
• 对于非凸QCQPs，该方法采用惩罚凸-凹过程（CCP），通过在当前迭代点处对凹部进行一阶泰勒展开进行近似。
• 利用对偶理论，通过将具有单个约束的非凸QCQPs重构建模为半定规划（SDP），在满足严格可行性条件下实现零对偶间隙。
• 采用差-凸规划（DCP）处理以两个凸二次型之差定义的约束。
• 通过迭代凸近似实现高效计算，初始化选项包括原始输入或可行解。

实验结果

研究问题

• RQ1 如何通过利用特定模型的内部结构，更高效地计算反事实解释？
• RQ2 哪些优化技术在求解反事实生成中出现的非凸QCQPs时最为有效？
• RQ3 基于对偶的方法能否应用于非凸QCQPs，以获得精确或近似精确解？
• RQ4 目前哪些机器学习模型缺乏高效的反事实计算方法，应如何解决？
• RQ5 与模型无关方法相比，特定模型方法在质量和效率方面表现如何？

主要发现

• 通过利用模型内部结构和定制化优化，特定模型方法相较于模型无关方法在计算效率上显著提升。
• 惩罚凸-凹过程（CCP）通过迭代求解凸子问题，为非凸QCQPs提供了可靠的近似解法。
• 当满足严格可行性条件时，具有单个约束的非凸QCQPs可通过半定规划（SDP）精确求解。
• 差-凸规划（DCP）的使用使得复杂决策边界能够作为约束嵌入反事实优化中。
• 该框架通过使用s.p.s.d.矩阵表示各类模型的决策边界，支持广泛模型的系统化反事实计算。
• 该方法具有良好的可扩展性，可应用于文献中此前未涉及的模型，从而拓展了反事实解释的应用范围。