[论文解读] Purifying Interaction Effects with the Functional ANOVA: An Efficient Algorithm for Recovering Identifiable Additive Models

Benjamin J. Lengerich, Sarah Tan+3 more|arXiv (Cornell University)|Nov 12, 2019

Fault Detection and Control Systems参考文献 44被引用 8

一句话总结

本文提出了一种新颖的精确算法，通过功能ANOVA分解净化加法模型中的交互效应，通过仅隔离完全由交互作用引起的方差，解决了可识别性问题。该方法将分段常数模型（如基于树的模型）转换为规范且可识别的形式，揭示了先前对主效应和交互效应的解释可能因方差的任意再分配而具有误导性。

ABSTRACT

Models which estimate main effects of individual variables alongside interaction effects have an identifiability challenge: effects can be freely moved between main effects and interaction effects without changing the model prediction. This is a critical problem for interpretability because it permits "contradictory" models to represent the same function. To solve this problem, we propose pure interaction effects: variance in the outcome which cannot be represented by any smaller subset of features. This definition has an equivalence with the Functional ANOVA decomposition. To compute this decomposition, we present a fast, exact algorithm that transforms any piecewise-constant function (such as a tree-based model) into a purified, canonical representation. We apply this algorithm to Generalized Additive Models with interactions trained on several datasets and show large disparity, including contradictions, between the effects before and after purification. These results underscore the need to specify data distributions and ensure identifiability before interpreting model parameters.

研究动机与目标

• 解决加法模型中的根本可识别性问题，即主效应和交互效应可被任意重新分配而不改变预测结果。
• 通过定义并计算‘纯净’交互效应，解决树基模型中模型效应的矛盾解释。
• 开发一种高效且精确的算法，用于计算分段常数函数的函数ANOVA（fANOVA）分解，从而实现模型效应的规范表示。
• 证明模型解释对数据分布和估计过程高度敏感，因此在解释前必须进行净化。
• 揭示在净化前，主效应和交互效应可能被显著扭曲，这对机器学习中的可解释性和公平性具有重要影响。

提出的方法

• 将纯净交互效应定义为无法被任何主效应子集解释的方差，与功能ANOVA（fANOVA）分解保持一致。
• 提出一种精确且快速的算法，用于计算如树基模型所生成的分段常数函数的fANOVA分解。
• 将任意给定的含交互作用的加法模型转换为规范形式，使主效应和交互效应相互正交且可识别。
• 使用该算法重新表达在真实数据集上训练的模型，揭示原始效应估计通常混淆了主效应和交互效应信号。
• 将净化方法应用于先前研究中的数据生成器（如遗传交互研究），表明净化前后主效应强度存在显著差异。
• 利用净化后的形式分析随机森林等模型的归纳偏差，表明其更倾向于恢复主效应较强的交互作用。

实验结果

研究问题

• RQ1 由于不可识别性，标准加法模型中的交互作用在多大程度上导致了矛盾的解释？
• RQ2 对于如树集成等分段常数模型，能否精确计算主效应和交互效应的规范且可识别的分解？
• RQ3 数据分布和模型估计过程在净化前后如何影响主效应和交互效应的解释？
• RQ4 净化对现实世界和合成数据集中交互效应的感知强度和结构有何影响？
• RQ5 净化是否揭示了先前被交互项掩盖的主效应中的隐藏方差？这能否为鲁棒性正则化提供指导？

主要发现

• 同一个函数可用多个预测结果相同但解释矛盾的加法模型表示，如布尔变量和连续变量所示。
• 布尔变量上‘与’和‘或’操作的交互效应等价于受主效应调制的中心化XOR交互，证明这些并非独立的交互类型。
• 净化后，‘协同’遗传交互模型的主效应强度是‘仅交互’模型的三倍，尽管交互强度相同。
• ‘无交互’模型在净化后仍显示非零主效应，表明原始模型可能错误地表示了交互作用的缺失。
• 净化揭示了主效应中原本隐藏于交互项中的高方差，可通过事后正则化降低，从而提升可解释性并可能提高测试准确率。
• 通过净化后的数据生成器表明，随机森林模型更倾向于恢复主效应较强的交互作用，表明模型的归纳偏差依赖于效应结构。