[论文解读] What made you do this? Understanding black-box decisions with sufficient input subsets

Brandon Carter, Jonas Mueller+2 more|arXiv (Cornell University)|Oct 9, 2018

Explainable Artificial Intelligence (XAI)参考文献 10被引用 12

一句话总结

本文提出充分输入子集（Sufficient Input Subsets, SIS），一种与模型无关的方法，用于识别仅凭自身即可解释黑箱模型决策的最小、忠实且简洁的输入特征子集。通过使用反向选择法迭代屏蔽特征，SIS 生成的解释比现有方法更简洁且更忠实，已在文本、图像和基因组数据中展现出实用价值。

ABSTRACT

Local explanation frameworks aim to rationalize particular decisions made by a black-box prediction model. Existing techniques are often restricted to a specific type of predictor or based on input saliency, which may be undesirably sensitive to factors unrelated to the model's decision making process. We instead propose sufficient input subsets that identify minimal subsets of features whose observed values alone suffice for the same decision to be reached, even if all other input feature values are missing. General principles that globally govern a model's decision-making can also be revealed by searching for clusters of such input patterns across many data points. Our approach is conceptually straightforward, entirely model-agnostic, simply implemented using instance-wise backward selection, and able to produce more concise rationales than existing techniques. We demonstrate the utility of our interpretation method on various neural network models trained on text, image, and genomic data.

研究动机与目标

• 为高风险机器学习应用中因模型不透明而削弱信任的问题，提供忠实、稀疏且可解释的解释。
• 克服基于梯度或模型特定的解释方法的局限性，这些方法可能对无关的输入变化敏感，或仅适用于特定架构。
• 通过识别仅凭自身即可使模型做出决策的最小输入模式，使非专家能够理解复杂模型。
• 通过在多个数据点上聚类 SIS 模式，揭示全局决策机制。
• 提供一种简单、通用的解释框架，适用于任何黑箱模型，且无需访问内部梯度或架构细节。

提出的方法

• 提出充分输入子集（SIS）作为最小特征子集 $S \subseteq [p]$，使得 $f(\mathbf{x}_S) \geq \tau$，其中 $\mathbf{x}_S$ 对 $S$ 以外的所有特征进行屏蔽。
• 采用实例级反向选择：从完整输入开始，迭代移除特征，直到模型输出仍高于阈值 $\tau$。
• 通过检查从 $S$ 中移除任意特征 $i$ 后是否满足 $f(\mathbf{x}_{S \setminus \{i\}}) < \tau$，确保 SIS 的最小性。
• 通过从不同的初始特征集重新启动反向选择，为每个输入生成多个 SIS，以捕捉多样化的最小解释。
• 使用基于嵌入的相似性对多个数据点上的 SIS 进行聚类，以揭示全局决策模式和模型行为。
• 该方法可直接应用于多种数据类型——文本、图像、基因组——而无需模型特定的修改或梯度计算。

实验结果

研究问题

• RQ1 是否存在一种与模型无关的方法，能够识别出仅凭自身即可解释黑箱模型预测的最小输入子集，且无需依赖梯度或模型架构？
• RQ2 与 LIME、积分梯度或基于扰动的方法等现有解释方法相比，SIS 在稀疏性和忠实性方面表现如何？
• RQ3 在多个输入上对 SIS 进行聚类，能否揭示有意义、人类可理解的决策模式或模型行为的一般原则？
• RQ4 SIS 在现实世界应用中（如情感分析、图像分类和基因组预测）解释复杂模型的能力有多强？
• RQ5 在自然语言和图像数据中，SIS 对不同的屏蔽策略和输入扰动有多大的鲁棒性？

主要发现

• SIS 生成的解释比其他方法显著更简洁，其解释的中位长度仅为输入文本的 2.4%，而 LIME 和积分梯度的中位长度为 3.0–3.2%。
• SIS 解释的特征重要性中位数为 0.0210，显著高于其他方法，与 LIME 和积分梯度相比，特征相关性差异具有统计学显著性（p < 0.001）。
• 在啤酒评论情感预测中，SIS 为正面口感情感识别出 12 个充分输入子集簇，高频模式如 'smooth creamy'（出现 27 次）和 'perfect'（出现 50 次）。
• 对于负面口感预测，SIS 捕捉到显著的模式，如 'watery'（出现 302 次）和 'overcarbonated'（出现 12 次），与人工标注的解释一致。
• SIS 在不同屏蔽策略（均值填充和热Deck填充）下表现出稳健性，在消融研究中显示出一致的预测稳定性。
• 对测试样本中 SIS 的聚类揭示了语义一致的簇，如 'mouthfeel perfect' 和 'silky smooth'，表明 SIS 能够从模型中提取有意义且可泛化的决策概念。