[论文解读] The Shapley Value in Machine Learning

Benedek Rózemberczki, Lauren Watson+5 more|arXiv (Cornell University)|Feb 11, 2022

Auction Theory and Applications被引用 16

一句话总结

本综述全面概述了机器学习中的Shapley值，解释了其在合作博弈论中的理论基础及其在特征选择、模型可解释性、数据估值、多智能体强化学习和集成模型剪枝中的实际应用。它强调了实现可扩展计算的关键近似方法，并指出了关键局限性——尤其是可解释性问题以及近似方法下公理性质的失效——同时提出了未来研究方向，包括分层和重叠联盟结构，以及Shapley值之外的替代解概念。

ABSTRACT

Over the last few years, the Shapley value, a solution concept from cooperative game theory, has found numerous applications in machine learning. In this paper, we first discuss fundamental concepts of cooperative game theory and axiomatic properties of the Shapley value. Then we give an overview of the most important applications of the Shapley value in machine learning: feature selection, explainability, multi-agent reinforcement learning, ensemble pruning, and data valuation. We examine the most crucial limitations of the Shapley value and point out directions for future research.

研究动机与目标

• 为理解Shapley值作为合作博弈论中的解概念及其在机器学习中的相关性，提供统一的理论框架。
• 考察Shapley值在关键机器学习领域中的应用，包括特征选择、模型可解释性、数据估值和多智能体强化学习。
• 识别并分析Shapley值在实践中存在的核心局限性，尤其是计算不可行性和可解释性挑战。
• 强调一个关键问题：在常用近似方法下，Shapley值的公理性质无法保持，从而削弱了其理论依据。
• 提出未来研究方向，包括分层和重叠联盟结构，以及合作博弈论中替代解概念的探索。

提出的方法

• 使用有限玩家集合 𝒩 和特征函数 v: 2^𝒩 → ℝ 定义合作博弈，该函数为所有联盟分配数值，且满足 v(∅) = 0。
• 将Shapley值引入为一种解概念，根据玩家在所有玩家集合排列中的平均边际贡献，为每个玩家分配唯一的收益向量 φ(𝒩, v)。
• 通过将玩家映射为特征、数据点、集成模型中的模型或强化学习中的智能体，将Shapley值应用于机器学习，并将特征函数映射为模型性能、预测准确率或奖励。
• 回顾近似技术，如蒙特卡洛采样和基于梯度的近似，以降低精确计算Shapley值的阶乘复杂度。
• 讨论Owen值和Winter值作为Shapley值的受限变体，其引入了联盟结构和层级关系。
• 提出将框架扩展至重叠联盟结构，以及探索核心、核仁和核等替代解概念，以提升可解释性和鲁棒性。

实验结果

研究问题

• RQ1 在合作博弈论背景下，Shapley值如何被正式定义并基于公理体系加以证明，以适用于机器学习应用？
• RQ2 Shapley值在关键机器学习应用中的核心作用是什么？其公平性和高效性特性如何被利用？
• RQ3 为何常见的Shapley值近似方法无法保持其核心公理性质？这对模型可解释性有何影响？
• RQ4 分层和重叠联盟结构在何种方式下可改善现实世界机器学习场景（如数据共享或特征选择）的建模？
• RQ5 合作博弈论中哪些替代解概念可在特定机器学习场景下提供优于Shapley值的性能或可解释性？

主要发现

• Shapley值提供了一种理论坚实且公平的协作环境贡献分配方法，其公理性质包括效率、对称性和可加性。
• 由于其 O(2^n) 的复杂度，精确计算Shapley值在大规模问题中不可行，因此需要借助蒙特卡洛采样等近似技术。
• 尽管广泛应用，但近似方法通常无法保持Shapley值的公理性质，从而在实践中削弱了其理论依据。
• 可解释性仍是主要挑战：若一个玩家的Shapley值是另一个的两倍，其贡献并不一定真正“两倍”大，除非游戏结构清晰且可解释。
• 未来研究应探索Owen值和Winter值等受限解概念，以支持分层联盟结构，以及核心或核等替代公平准则。
• 关于Shapley值之外的替代解概念（如核心、核仁和核）在机器学习中的研究仍严重不足，代表了未来工作的重大机遇。