[论文解读] On Relating 'Why?' and 'Why Not?' Explanations

Alexey Ignatiev, Nina Narodytska+2 more|arXiv (Cornell University)|Dec 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 61被引用 11

一句话总结

本文建立了机器学习中'为何?'（溯因式）与'为何不？'（对比式）解释之间的形式对偶性，证明溯因式解释是对比式解释的最小命中集，反之亦然。本文提出新颖的算法，利用基于最小不可满足子集（MUS）与最小修正子集（MCS）的对偶性技术，高效地提取和枚举两类解释。

ABSTRACT

Explanations of Machine Learning (ML) models often address a 'Why?' question. Such explanations can be related with selecting feature-value pairs which are sufficient for the prediction. Recent work has investigated explanations that address a 'Why Not?' question, i.e. finding a change of feature values that guarantee a change of prediction. Given their goals, these two forms of explaining predictions of ML models appear to be mostly unrelated. However, this paper demonstrates otherwise, and establishes a rigorous formal relationship between 'Why?' and 'Why Not?' explanations. Concretely, the paper proves that, for any given instance, 'Why?' explanations are minimal hitting sets of 'Why Not?' explanations and vice-versa. Furthermore, the paper devises novel algorithms for extracting and enumerating both forms of explanations.

研究动机与目标

• 正式关联机器学习模型中的溯因式解释（'为何？'）与对比式解释（'为何不？'）。
• 证明溯因式与对比式解释通过最小命中集关系构成对偶，扩展Reiter关于不一致理论的研究。
• 基于最小不可满足子集（MUS）与最小修正子集（MCS）之间的对偶性，开发高效且严谨的算法，用于提取与枚举两类解释。
• 评估在真实世界数据集上，使用XGBoost模型进行完整解释枚举的可行性与可扩展性。
• 评估对比式解释与SHAP特征重要性之间的相关性，表明其与现有可解释性工具具有实际一致性。

提出的方法

• 使用一阶逻辑（FOL）或等价表示（如整数规划）形式化机器学习模型，将实例视为文字的集合。
• 将溯因式解释建模为对比式解释的最小命中集，反之亦然，利用最小不可满足子集（MUS）与最小修正子集（MCS）之间的对偶性。
• 使用基于对偶性的算法（算法2）对所有溯因式解释（AXps）进行完整枚举，同时通过双对偶性计算所有对比式解释（CXps）。
• 基于[47]实现一个原型，对XGBoost模型执行查询操作，通过增量SAT求解或约束推理实现可扩展的解释枚举。
• 将该方法应用于六个公开数据集（Adult、Lending、Recidivism等），使用XGBoost训练的树集成模型（50棵树，深度3），采用基于对偶性的方法提取所有解释。
• 通过计算顶部加权SHAP像素与CXp特征之间的重叠，使用类似Jaccard的度量corr = |S ∩ T| / |S|，衡量CXps与SHAP特征的相关性。

实验结果

研究问题

• RQ1 机器学习模型中，溯因式解释（'为何？'）与对比式解释（'为何不？'）之间存在何种形式关系？
• RQ2 能否利用最小不可满足子集（MUS）与最小修正子集（MCS）之间的对偶性，高效计算溯因式与对比式解释？
• RQ3 对真实世界模型与数据集而言，溯因式与对比式解释的完整枚举在可扩展性方面表现如何？
• RQ4 对比式解释与SHAP这一广泛使用的可解释性工具的特征重要性之间，相关性达到何种程度？
• RQ5 所提方法能否生成首个在严谨、基于模型的框架下枚举溯因式解释的算法？

主要发现

• 溯因式解释是对比式解释的最小命中集，反之亦然，建立了基于不一致理论分析中MUS-MCS对偶性的正式对偶关系。
• 基于对偶性的算法成功枚举了六个基准数据集中所有实例的溯因式与对比式解释，平均计算时间在每实例几分之一秒至几秒之间。
• 平均而言，每实例需要几十到几百次的查询调用，部分情况达数千次，证明了方法的实际可行性。
• 对比式解释通常比溯因式解释更多，但显著更小——平均仅2.3至3.6个特征，更利于人类用户理解。
• 观察到对比式解释与顶部SHAP特征之间存在较强相关性（平均corr = 0.4），表明其与现有可解释性方法具有一致性。
• 在许多情况下，对比式解释的大小为1，表明单个特征的改变通常足以改变预测结果，支持其在模型解释中的实用性。