[论文解读] Understanding Interventional TreeSHAP : How and Why it Works

Gabriel Laberge, Yann Pequignot|arXiv (Cornell University)|Sep 29, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提供了干预树SHAP（Interventional TreeSHAP）工作原理的首个形式化数学证明，展示了其如何通过Shapley值正确解释树集成模型。该证明可扩展至Shapley-Taylor指数和独热编码特征，从而拓展了机器学习模型的可解释性应用范围。

ABSTRACT

Shapley values are ubiquitous in interpretable Machine Learning due to their strong theoretical background and efficient implementation in the SHAP library. Computing these values previously induced an exponential cost with respect to the number of input features of an opaque model. Now, with efficient implementations such as Interventional TreeSHAP, this exponential burden is alleviated assuming one is explaining ensembles of decision trees. Although Interventional TreeSHAP has risen in popularity, it still lacks a formal proof of how/why it works. We provide such proof with the aim of not only increasing the transparency of the algorithm but also to encourage further development of these ideas. Notably, our proof for Interventional TreeSHAP is easily adapted to Shapley-Taylor indices and one-hot-encoded features.

研究动机与目标

• 提供干预树SHAP正确性的严格数学证明，以弥补先前工作中缺乏形式化依据的不足。
• 通过揭示其理论基础和潜在假设，增强TreeSHAP的透明度与可信度。
• 证明该证明框架可轻松适配其他基于博弈论的归因方法，例如Shapley-Taylor指数。
• 将TreeSHAP扩展至支持独热编码的分类特征，这些特征在现实世界机器学习流程中极为常见，但当前SHAP实现尚不支持。
• 通过提供基于C++、与数学理论一致的实现，支持教育和研究应用，便于教学与进一步开发。

提出的方法

• 使用合作博弈论对干预树SHAP进行形式化证明，表明在干预性（do- calculus）假设下，该算法能正确计算树集成模型的Shapley值。
• 通过遍历决策树并聚合特征子集的贡献，推导出一种递归算法以计算Shapley值。
• 通过重新定义博弈论中的值函数，将证明框架扩展至Shapley-Taylor指数，以捕捉更高阶的特征交互效应。
• 提出一种特征嵌入框架，将独热编码特征映射到连续空间，从而通过Partition-TreeSHAP实现一致的归因。
• 定义从嵌入坐标到原始特征的满射映射 𝒫，实现将归因结果聚合回原始特征空间。
• 使用与理论证明中相同的符号体系，在C++中实现Taylor-TreeSHAP和Partition-TreeSHAP，并提供Python封装，以确保清晰性与教育用途。

实验结果

研究问题

• RQ1 如何利用博弈论原理对干预树SHAP的正确性进行形式化证明？
• RQ2 干预树SHAP的证明框架能否被适配以计算更高阶特征交互效应的Shapley-Taylor指数？
• RQ3 如何在保持准确归因的前提下，将TreeSHAP扩展以处理独热编码的分类特征？
• RQ4 递归聚合在TreeSHAP中的理论基础是什么，其与完整Shapley值计算的等价性如何解释？
• RQ5 如何将理论洞见转化为可重用、教育性强且可扩展的实现？

主要发现

• 本文首次提供了完整的正式证明，表明在干预性假设下，干预树SHAP能正确计算树集成模型的Shapley值。
• 该证明结构可直接迁移至Shapley-Taylor指数，从而实现对高阶特征交互效应的高效计算。
• 通过新颖的嵌入与归因聚合框架，该方法支持独热编码特征，使TreeSHAP的应用范围超越二值或数值特征。
• 提供了使用与理论分析中相同符号体系的Partition-TreeSHAP和Taylor-TreeSHAP的C++实现，确保一致性与教育清晰性。
• 该理论框架可实现对混合特征类型（包括连续特征与独热编码特征）的准确归因，且无需重新训练模型。
• 结果验证了TreeSHAP的高效性与正确性源于坚实的博弈论基础，支持其作为可靠可解释性工具的应用。