[论文解读] Reluctant Interaction Modeling

Guo Yu, Jacob Bien+1 more|arXiv (Cornell University)|Jul 19, 2019

Bioinformatics and Genomic Networks参考文献 51被引用 11

一句话总结

该论文提出 sprinter，一种计算高效的大型交互作用建模方法，在预测性能相近时优先考虑主效应而非交互作用。通过应用‘迟疑’原则——偏好主效应而不强制要求层次结构——sprinter 能够实现高达 100 亿个交互作用的稀疏交互模型，仅用单核 CPU 在 7 小时内完成五折交叉验证，同时保持出色的统计性能。

ABSTRACT

Including pairwise interactions between the predictors of a regression model can produce better predicting models. However, to fit such interaction models on typical data sets in biology and other fields can often require solving enormous variable selection problems with billions of interactions. The scale of such problems demands methods that are computationally cheap (both in time and memory) yet still have sound statistical properties. Motivated by these large-scale problem sizes, we adopt a very simple guiding principle: One should prefer main effects over interactions if all else is equal. This "reluctance" to interactions, while reminiscent of the hierarchy principle for interactions, is much less restrictive. We design a computationally efficient method built upon this principle and provide theoretical results indicating favorable statistical properties. Empirical results show dramatic computational improvement without sacrificing statistical properties. For example, the proposed method can solve a problem with 10 billion interactions with 5-fold cross-validation in under 7 hours on a single CPU.

研究动机与目标

• 解决在高维设置下拟合完整交互作用模型的计算不可行性，尤其是在基因组学和文本分析中。
• 开发一种明确偏好主效应而非交互作用的方法，以反映其可解释性和较低的复杂度。
• 在不依赖严格层次原则的前提下，实现大规模交互作用建模。
• 在保持预测准确性的同时，实现与仅含主效应模型相当的计算效率。

提出的方法

• 该方法采用多步筛选框架：首先拟合仅含主效应的模型，然后根据其与残差的相关性筛选交互作用。
• 仅当交互作用能显著提升预测性能时才被选择，其提升程度需超过仅使用主效应所能达到的效果。
• 该方法避免存储或显式计算所有成对交互作用，而是依赖高效的相 关性筛选。
• 采用松弛阈值策略以控制假阳性，同时保持对有意义交互作用的敏感性。
• 该算法设计为内存和时间高效，可扩展至包含数十亿个潜在交互作用的问题。
• 通过递归筛选残差，该方法可推广至高阶交互作用。

实验结果

研究问题

• RQ1 一种简单且计算高效的模型是否能在大规模数据集上超越基于标准套索的交互作用建模方法？
• RQ2 当预测性能相近时，对引入交互作用持‘迟疑’态度、优先选择主效应，是否能带来更好的实际与统计结果？
• RQ3 是否可以在不依赖层次原则的前提下，大规模拟合交互作用模型（最多达 100 亿个交互作用）？
• RQ4 与层次与非层次方法相比，该方法在预测误差和计算时间方面表现如何？

主要发现

• 在 Tripadvisor 数据集上，sprinter 的预测均方根误差（RMSE）为 1.091，优于 MEL（1.153）和两阶段层次套索（1.125）。
• 该方法仅选择了 304 个主效应和 526 个交互作用，展现出强大的稀疏性，同时保持了高预测准确性。
• sprinter 在单核 CPU 上用不到 7 小时完成约 100 亿个潜在交互作用的五折交叉验证。
• 对于包含 2000 个主效应的问题，该方法比全成对套索（APL）快 100 倍。
• 诸如 awful × not 和 rude × but 等交互作用的系数估计显示出预期的负面情感调节，验证了模型的可解释性。
• 像 wonderful × superb 这类交互作用的负系数表明冗余最高级形容词带来收益递减，证实了直观的语义行为。