[论文解读] The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions

Raj Agrawal, Jonathan H. Huggins+2 more|arXiv (Cornell University)|May 16, 2019

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

该论文提出了一种名为核交互技巧（Kernel Interaction Trick）的可扩展贝叶斯方法，通过高斯过程表示交互作用，实现对高维数据中成对交互作用的发现，使每轮MCMC迭代的时间复杂度降至O(pN² + N³)。该方法相比朴素的贝叶斯推断实现了数量级的速度提升，并在保持稀疏性和不确定性量化的同时，优于基于LASSO的方法，在减少第一类错误和第二类错误方面表现更优。

ABSTRACT

Discovering interaction effects on a response of interest is a fundamental problem faced in biology, medicine, economics, and many other scientific disciplines. In theory, Bayesian methods for discovering pairwise interactions enjoy many benefits such as coherent uncertainty quantification, the ability to incorporate background knowledge, and desirable shrinkage properties. In practice, however, Bayesian methods are often computationally intractable for even moderate-dimensional problems. Our key insight is that many hierarchical models of practical interest admit a particular Gaussian process (GP) representation; the GP allows us to capture the posterior with a vector of O(p) kernel hyper-parameters rather than O(p^2) interactions and main effects. With the implicit representation, we can run Markov chain Monte Carlo (MCMC) over model hyper-parameters in time and memory linear in p per iteration. We focus on sparsity-inducing models and show on datasets with a variety of covariate behaviors that our method: (1) reduces runtime by orders of magnitude over naive applications of MCMC, (2) provides lower Type I and Type II error relative to state-of-the-art LASSO-based approaches, and (3) offers improved computational scaling in high dimensions relative to existing Bayesian and LASSO-based approaches.

研究动机与目标

• 解决在高维设置下成对交互作用模型的贝叶斯推断计算不可行的问题。
• 通过使用具有O(p)个核超参数的高斯过程表示交互作用，将建模交互作用的O(p²)成本降低。
• 在每轮迭代中实现关于超参数的高效MCMC采样，时间与内存复杂度在p上呈线性。
• 与基于LASSO的方法相比，提升统计功效，减少假阳性与假阴性。
• 提供一个通用的稀疏交互作用发现框架，可扩展至高维数据，同时保持不确定性量化。

提出的方法

• 使用一种专用核的高斯过程（GP）表示完整交互作用模型，该核隐式编码了所有成对交互作用。
• 利用GP核避免显式计算和求逆完整的精度矩阵，将时间复杂度从O(p²N²)降低至O(pN² + N³)。
• 开发核交互技巧，以在不存储或处理全部O(p²)系数的情况下，计算选定主效应和交互作用的后验摘要（均值与方差）。
• 对GP核超参数应用层次收缩先验，以在选定的交互作用和主效应中诱导稀疏性。
• 在O(p)个核超参数上进行马尔可夫链蒙特卡洛（MCMC）采样，而非在O(p²)个回归系数上。
• 通过相同的基于GP的表示，将该框架扩展至更高阶的多路交互作用。

实验结果

研究问题

• RQ1 在高维设置下，能否使成对交互作用的贝叶斯推断变得计算上可行？
• RQ2 高斯过程表示能否将后验推断的计算成本从O(p²)降低至O(p)个参数？
• RQ3 所提出的方法是否在错误控制方面（更低的第一类与第二类错误）优于最先进的基于LASSO的方法？
• RQ4 该方法能否在高p和大N的场景下实现高效扩展，同时保持不确定性量化？
• RQ5 核交互技巧在不显式存储所有交互项的情况下，能在多大程度上实现精确的后验计算？

主要发现

• 与在交互作用模型上直接应用朴素MCMC相比，所提方法将运行时间降低了数量级。
• 在合成数据集上，SKIM在主效应和成对效应的正确选择率（3:0）上优于PLASSO和HLASSO，且第一类与第二类错误率更低。
• 在添加了噪声协变量的Auto MPG数据集中，SKIM仅选出了原始的3个主效应和1个交互作用，无任何假阳性，而基于LASSO的方法选出了78至99个虚假交互作用。
• 该方法在每轮MCMC迭代中保持了关于p的线性时间复杂度，即使在高维设置下也能实现可扩展的推断。
• 核交互技巧使得在不显式计算或存储全部O(p²)个交互项的情况下，能够精确计算选定效应的后验均值与方差。
• 实证结果表明，SKIM在高维噪声环境下，无论在准确性还是鲁棒性方面，均优于基于LASSO的方法，尤其在检测真实效应并避免错误发现方面表现更优。