[论文解读] Technical Note: Game-Theoretic Interactions of Different Orders

Hao Zhang, Xu Cheng+2 more|arXiv (Cornell University)|Oct 28, 2020

Sports Analytics and Performance参考文献 18被引用 8

一句话总结

本文提出了一种博弈论框架，将深度神经网络（DNNs）中的特征交互分解为多阶成分，量化不同上下文尺度下输入变量对之间的相互作用。通过利用Shapley值和交互指数，该方法分离出不同规模上下文的贡献，揭示了局部与全局推理模式如何塑造DNN的行为。

ABSTRACT

In this study, we define interaction components of different orders between two input variables based on game theory. We further prove that interaction components of different orders satisfy several desirable properties.

研究动机与目标

• 使用博弈论形式化并量化DNNs中不同上下文尺度下输入变量之间的交互成分。
• 将整体特征交互分解为不同阶次（0到n−2）的独立成分，每种成分反映在不同大小上下文下的交互作用。
• 建立一个理论基础坚实、可解释的DNN信号处理分解方法，将局部与全局交互效应分离。
• 证明所提出的交互成分满足关键公理化性质，如线性性、对称性和效率性。
• 通过隔离恰好m-上下文参与者的贡献，净化交互度量，避免混合阶次效应的混淆。

提出的方法

• 将每个输入特征建模为合作博弈中的参与者，DNN输出作为博弈的价值函数 $v: 2^N \to \mathbb{R}$。
• 使用Shapley值 $\phi(i|N)$ 计算单个特征的贡献，通过线性性、虚拟参与者、对称性和效率性等性质确保公平性。
• 将两个特征之间的整体交互 $I(i,j)$ 定义为当 $j$ 被加入或移除时 $\phi(i)$ 的变化量。
• 将 $I(i,j)$ 分解为 $n-1$ 个成分：$I(i,j) = \frac{1}{n-1}\sum_{m=0}^{n-2} I^{(m)}(i,j)$，其中 $I^{(m)}(i,j)$ 捕获在大小为 $m$ 的上下文下的交互作用。
• 引入净化后的交互度量 $J^{(m)}(i,j)$，通过在 $R_T(i,j)$（即 $i,j$ 在子集 $T$ 上的边际贡献）上应用包含-排除原理，隔离出恰好大小为 $m$ 的上下文的贡献。
• 推导出递归公式，从 $I^{(m)}(i,j)$ 计算 $J^{(m)}(i,j)$，从而实现对纯阶次交互的高效估计。

实验结果

研究问题

• RQ1 如何系统地在不同上下文尺度下分解DNN中的特征交互？
• RQ2 多阶交互成分具有哪些性质？它们是否保留了博弈论的公理化基础？
• RQ3 是否可以对交互成分进行净化，以隔离出恰好大小为 $m$ 的上下文的贡献，避免混合阶次效应的混淆？
• RQ4 交互成分与整体Shapley值分解以及博弈的效率性之间有何关系？
• RQ5 上下文大小 $m$ 在塑造DNN推理中特征对 $i,j$ 的贡献方面起什么作用？

主要发现

• 两个输入变量之间的交互 $I(i,j)$ 可以被精确分解为 $n-1$ 个成分 $I^{(m)}(i,j)$，每个成分代表在大小为 $m$ 的上下文下的 $i$ 和 $j$ 的平均边际贡献。
• 净化后的交互 $J^{(m)}(i,j)$ 隔离了恰好包含 $m$ 个其他参与者的上下文的贡献，消除了低阶与高阶效应的混淆。
• 交互成分 $I^{(m)}(i,j)$ 满足关键博弈论性质：线性性、虚拟参与者、对称性、边际贡献、累积性、递归性和效率性。
• 递归性质证实，完整上下文与最小上下文之间总贡献差等于所有 $I^{(m)}(i,j)$ 的总和，与Shapley值理论一致。
• 效率性质确保总博弈值 $v(N) - v(\emptyset)$ 完全由所有 $\phi^{(0)}(i|N)$ 和加权 $I^{(k)}(i,j)$ 项的总和所解释。
• 递归公式 $J^{(m)}(i,j) = I^{(m)}(i,j) - \sum_{p=0}^{m-1} \binom{p}{m} \cdot J^{(p)}(i,j)$ 可实现从聚合的 $I^{(m)}(i,j)$ 精确计算纯阶次交互。