[论文解读] The Shapley Taylor Interaction Index

Kedar Dhamdhere, Ashish Agarwal+1 more|arXiv (Cornell University)|Feb 14, 2019

Decision-Making and Behavioral Economics参考文献 29被引用 8

一句话总结

本文提出了Shapley-Taylor交互指数，作为Shapley值的推广，通过模型集合行为的多重线性扩展的泰勒级数类似分解，将模型预测归因于大小为 $k$ 以内的特征交互。该方法提供了一个稳定且具有公理基础的框架，在捕捉高阶交互作用方面优于先前的方法（如Shapley交互指数），尤其在避免符号不稳定性方面表现更优。

ABSTRACT

The attribution problem, that is the problem of attributing a model's prediction to its base features, is well-studied. We extend the notion of attribution to also apply to feature interactions. The Shapley value is a commonly used method to attribute a model's prediction to its base features. We propose a generalization of the Shapley value called Shapley-Taylor index that attributes the model's prediction to interactions of subsets of features up to some size k. The method is analogous to how the truncated Taylor Series decomposes the function value at a certain point using its derivatives at a different point. In fact, we show that the Shapley Taylor index is equal to the Taylor Series of the multilinear extension of the set-theoretic behavior of the model. We axiomatize this method using the standard Shapley axioms -- linearity, dummy, symmetry and efficiency -- and an additional axiom that we call the interaction distribution axiom. This new axiom explicitly characterizes how interactions are distributed for a class of functions that model pure interaction. We contrast the Shapley-Taylor index against the previously proposed Shapley Interaction index (cf. [9]) from the cooperative game theory literature. We also apply the Shapley Taylor index to three models and identify interesting qualitative insights.

研究动机与目标

• 将特征归因从单个特征扩展至大小为 $k$ 以内的特征子集交互。
• 开发一种稳定且具有公理基础的交互归因方法，避免现有方法存在的符号不稳定性与高计算成本。
• 提供一种理论坚实、可解释的方法，用于识别深度学习模型中的有意义特征交互。
• 通过真实世界中的NLP和回归任务展示该方法的实用性，揭示模型行为中的关键模式，如否定、强化和互补性。

提出的方法

• 通过模型集合函数的多重线性扩展的泰勒展开，将Shapley值推广至交互作用。
• 将Shapley-Taylor指数定义为泰勒展开中第 $k$ 阶项的系数，用于捕捉大小为 $k$ 的特征子集的交互效应。
• 通过标准Shapley公理（线性性、虚拟性、对称性、效率性）以及一个新提出的“交互分布公理”对方法进行公理化，以刻画纯交互函数的特性。
• 通过从多重线性扩展推导出的闭式表达式计算指数，实现对小规模特征集的精确计算。
• 对于大规模模型，先应用集成梯度法识别出影响显著的特征子集，再计算指数，以确保计算可行性。
• 通过与Shapley交互指数对比并分析真实模型中的定性模式，验证了该方法的有效性。

实验结果

研究问题

• RQ1 如何系统性地将模型预测归因于大小为 $k$ 以内的特征交互，而不仅限于单个特征的贡献？
• RQ2 哪些公理性质可确保交互归因在不同类型交互函数之间保持公平且一致？
• RQ3 与Shapley交互指数相比，Shapley-Taylor指数在稳定性与可解释性方面表现如何，特别是在符号交替与计算成本方面？
• RQ4 该方法在真实模型中可检测到哪些有意义的交互模式（如否定、强化、互补性）？
• RQ5 该方法是否能揭示标准特征归因方法所遗漏的模型行为洞察，例如阅读理解任务中问题词与上下文词之间的匹配？

主要发现

• Shapley-Taylor指数成功捕捉了情感分析中的否定效应，例如 'not' 与 'good' 等情感词之间的交互，交互效应达 0.778。
• 该方法识别出强化效应，如 'both inspiring' 显著增强了情感影响，交互效应为 0.1。
• 在情感分析任务中，该方法揭示了互补性，即交互效应与主效应符号相反，如 'a crisp psychological drama' 的交互效应为 0.48。
• 在随机森林回归模型中，大多数关键的成对交互作用为替代关系，表现为主效应与交互效应散点图中呈负斜率，表明特征之间存在相关性。
• 在阅读理解任务中，该方法识别出问题词与上下文词之间的特定匹配，如 'percentage' 与 'percent' 的匹配，而此前分析未能检测到。
• Shapley-Taylor指数避免了Shapley交互指数中常见的符号不稳定性，即交互值不随函数大小变化而符号交替，表明其交互效应分布更加可靠。