[论文解读] On Formal Feature Attribution and Its Approximation

Jinqiang Yu, Alexey Ignatiev+1 more|arXiv (Cornell University)|Jul 7, 2023

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文提出形式化特征归因（FFA），一种新颖的方法，将特征重要性定义为包含该特征的溯因解释所占比例，确保形式上的严谨性。该方法提出一种高效的近似技术，利用随时形式化解释枚举，展示了在表格数据和图像数据集（包括真实世界软件缺陷预测）上，其在保真度、Kendall’s Tau 和 RBO 指标上优于 LIME 和 SHAP 的性能。

ABSTRACT

Recent years have witnessed the widespread use of artificial intelligence (AI) algorithms and machine learning (ML) models. Despite their tremendous success, a number of vital problems like ML model brittleness, their fairness, and the lack of interpretability warrant the need for the active developments in explainable artificial intelligence (XAI) and formal ML model verification. The two major lines of work in XAI include feature selection methods, e.g. Anchors, and feature attribution techniques, e.g. LIME and SHAP. Despite their promise, most of the existing feature selection and attribution approaches are susceptible to a range of critical issues, including explanation unsoundness and out-of-distribution sampling. A recent formal approach to XAI (FXAI) although serving as an alternative to the above and free of these issues suffers from a few other limitations. For instance and besides the scalability limitation, the formal approach is unable to tackle the feature attribution problem. Additionally, a formal explanation despite being formally sound is typically quite large, which hampers its applicability in practical settings. Motivated by the above, this paper proposes a way to apply the apparatus of formal XAI to the case of feature attribution based on formal explanation enumeration. Formal feature attribution (FFA) is argued to be advantageous over the existing methods, both formal and non-formal. Given the practical complexity of the problem, the paper then proposes an efficient technique for approximating exact FFA. Finally, it offers experimental evidence of the effectiveness of the proposed approximate FFA in comparison to the existing feature attribution algorithms not only in terms of feature importance and but also in terms of their relative order.

研究动机与目标

• 为解决 LIME 和 SHAP 等启发式特征归因方法存在的不严谨性和分布外采样问题。
• 将特征归因形式化为包含给定特征的溯因解释所占比例，确保逻辑严谨性。
• 针对特征归因问题在多项式层级第二层的计算复杂性，开发一种高效的近似技术。
• 在特征重要性准确性和相对特征排序方面，评估 FFA 与现有方法的性能表现。

提出的方法

• FFA 被正式定义为包含某特征的溯因解释数量与该预测所有溯因解释总数的比值。
• 该方法利用机器学习模型（特别是提升树）的一阶逻辑表示进行形式化解释枚举。
• 采用随时推理算法逐步生成溯因解释，实现实时近似 FFA。
• 通过监控近似过程的收敛性，随着解释的不断枚举，动态更新 FFA 值。
• 该方法应用于表格数据和图像数据，包括使用逻辑回归模型进行真实世界即时缺陷预测。
• 评估采用标准指标：误差、Kendall’s Tau 和 Rank-Biased Overlap（RBO），并与 LIME 和 SHAP 进行比较。

实验结果

研究问题

• RQ1 能否将形式化特征归因（FFA）定义为一种原则性、逻辑严谨的机器学习模型特征重要性度量？
• RQ2 FFA 近似方法在保真度和排序准确性方面与 LIME 和 SHAP 等启发式方法相比表现如何？
• RQ3 FFA 近似是否能快速收敛到精确的 FFA 值？其收敛速度在不同数据集和模型类型中如何变化？
• RQ4 LIME 和 SHAP 在多大程度上与形式化归因标准不一致？其归因在哪些方面发生偏离？

主要发现

• 在图像数据集上，仅经过 10 秒计算，FFA 近似在误差、Kendall’s Tau 和 RBO 指标上均优于 LIME 和 SHAP。
• 在 PneumoniaMNIST 数据集上，FFA 近似在 10 秒后达到 0.83 的 RBO 和 0.66 的 Kendall’s Tau，优于 LIME 和 SHAP。
• 在 OpenStack 和 Qt 数据集的即时缺陷预测任务中，FFA 与形式化解释的对齐程度显著优于 LIME 和 SHAP，表现为更低的误差和更高的特征排序一致性。
• 研究发现，LIME 和 SHAP 经常为在许多形式化解释中出现的特征分配零权重，表明其与形式化度量存在根本性不一致。
• FFA 近似过程收敛迅速，高质量结果可在数分钟内获得，表明尽管问题具有理论复杂性，但其在实际中具有可行性。
• 本文表明，LIME 和 SHAP 等启发式方法与形式化归因标准不一致，有时会为无关特征分配非零权重，或遗漏重要特征。