[论文解读] On Computing Relevant Features for Explaining NBCs

Yacine Izza, João Marques‐Silva|arXiv (Cornell University)|Jul 11, 2022

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出一种伪多项式动态规划算法，用于计算朴素贝叶斯分类器（NBCs）的简洁、可证明精确的概率性反事实解释（ApproxPAXp），在仅损失极少精度的前提下，显著减少解释规模。实验表明，ApproxPAXp 解释始终比严格 AXp 解释更短——通常缩短一半以上——同时保持高精度（例如 >95%），且在大规模数据集上运行时间也少于 2 秒。

ABSTRACT

Despite the progress observed with model-agnostic explainable AI (XAI), it is the case that model-agnostic XAI can produce incorrect explanations. One alternative are the so-called formal approaches to XAI, that include PI-explanations. Unfortunately, PI-explanations also exhibit important drawbacks, the most visible of which is arguably their size. The computation of relevant features serves to trade off probabilistic precision for the number of features in an explanation. However, even for very simple classifiers, the complexity of computing sets of relevant features is prohibitive. This paper investigates the computation of relevant sets for Naive Bayes Classifiers (NBCs), and shows that, in practice, these are easy to compute. Furthermore, the experiments confirm that succinct sets of relevant features can be obtained with NBCs.

研究动机与目标

• 解决正式、严格的 XAI 方法中解释规模过大的关键局限，尤其适用于高风险的人工智能应用。
• 通过引入可扩展的近似方法，克服朴素贝叶斯分类器中穷举反事实解释（AXp）计算的不切实际性。
• 开发一种在解释简洁性与强概率精度保证之间取得平衡的方法，适用于人类决策。
• 证明尽管存在理论复杂性，近似概率解释（ApproxPAXp）仍可高效且有效地计算于朴素贝叶斯分类器之上。
• 提供一种实用方案，生成简短、可靠的解释，尊重认知限制（例如 Miller 的 7±2 法则），同时不牺牲精度。

提出的方法

• 将朴素贝叶斯分类器（NBCs）的概率性反事实解释（AXp）计算问题形式化为受限整数规划约束的计数模型。
• 提出一种基于动态规划的算法，用于计算预测给定类别的特征赋值数量，从而支持近似解释的计算。
• 引入 ApproxPAXp 作为启发式近似方法，确保其解释规模不大于任何严格 AXp，也不小于任何概率性 AXp。
• 采用基于阈值的剪枝策略，生成既简洁又可证明精确的解释，并对最小精度（δ）提供保证。
• 实现一个原型系统，结合 SMT 类推理与动态规划表，针对大规模数据集的效率与可扩展性进行调优。
• 在多个基准数据集上评估该算法，通过调整 δ 和目标大小，分析精度、规模与运行时间之间的权衡。

实验结果

研究问题

• RQ1 能否在保留强概率保证的前提下，高效计算朴素贝叶斯分类器的近似概率性反事实解释（ApproxPAXp）？
• RQ2 与严格 AXp 解释相比，ApproxPAXp 在精度损失可接受的情况下，能在多大程度上减少解释规模？
• RQ3 所提出的动态规划方法在真实世界数据集上的实际可扩展性如何，特别是在运行时间和内存使用方面？
• RQ4 在不同数据集和阈值（δ）下，解释长度与精度之间的经验权衡关系如何？
• RQ5 该算法能否在人类用户认知能力范围内（例如 7±2 个特征）生成解释，同时保持高精度？

主要发现

• ApproxPAXp 解释始终比严格 AXp 解释更短——在目标大小为 7 时，agricus 和 mushroom 数据集上的平均长度缩短约 2 倍。
• 当目标大小 ≤7 时，所有数据集的平均解释长度为 5.3–5.1，远低于 7±2 的认知极限。
• ApproxPAXp 解释的平均精度显著超过阈值 δ：adult、vote、threeOf9、xd6、mamo 和 tumor 数据集的精度 >97%；chess 和 kr-vs-kp 数据集的精度 >95%。
• 运行时间可忽略不计：所有实例的平均运行时间为 0.33 秒，即使在最大数据集（agaricus、mushroom）上也未超过 2 秒。
• 当精度阈值较高（δ = 0.98）时，算法仍保持可扩展性，agaricus 数据集在目标大小为 7 时的平均运行时间为 7.22 秒。
• 当目标大小 ≤4 时，大多数数据集中有 96–100% 的实例能生成大小 ≤4 的解释，表明其具有极强的实际可行性。