[论文解读] WHInter: A Working set algorithm for High-dimensional sparse second order Interaction models

Marine Le Morvan, Jean‐Philippe Vert|arXiv (Cornell University)|Feb 16, 2018

Gene expression and cancer classification参考文献 32被引用 9

一句话总结

WHInter 是一种用于拟合高维稀疏线性模型（含二阶交互作用）的新型工作集算法，通过高效的最大内积搜索（MIPS）和一种新边界，实现无需扫描所有交互项即可识别活跃特征集。该方法在遗传数据和模拟数据上相比最先进方法提速达两个数量级，实现了对包含数十万特征的数据集的可扩展分析。

ABSTRACT

Learning sparse linear models with two-way interactions is desirable in many application domains such as genomics. l1-regularised linear models are popular to estimate sparse models, yet standard implementations fail to address specifically the quadratic explosion of candidate two-way interactions in high dimensions, and typically do not scale to genetic data with hundreds of thousands of features. Here we present WHInter, a working set algorithm to solve large l1-regularised problems with two-way interactions for binary design matrices. The novelty of WHInter stems from a new bound to efficiently identify working sets while avoiding to scan all features, and on fast computations inspired from solutions to the maximum inner product search problem. We apply WHInter to simulated and real genetic data and show that it is more scalable and two orders of magnitude faster than the state of the art.

研究动机与目标

• 解决标准 LASSO 求解器在高维设置下因两两交互项数量呈二次爆炸而带来的计算不可行性问题。
• 为二值设计矩阵中带有成对交互作用的 ℓ1-正则化模型开发一种可扩展算法，尤其适用于特征数 p > 100,000 的遗传数据。
• 通过引入更激进的工作集策略与高效特征选择，克服现有启发式方法和安全筛选规则的局限性。
• 在保持大规模数据集计算可行性的前提下，实现具有强统计保证的精确稀疏模型估计。

提出的方法

• 提出一种新边界，以高效识别特征和交互作用的工作集，而无需对所有候选交互项进行完整扫描。
• 采用最大内积搜索（MIPS）公式，通过稀疏向量运算加速有希望的交互项识别。
• 引入 MIPS1，一种新型算法组件，利用稀疏性与剪枝启发式方法，降低高维空间中内积计算的成本。
• 在安全模式剪枝（SPP）组件中采用广度优先搜索策略，相比原始的深度优先版本，提升了成对交互作用的剪枝效率。
• 将工作集方法与动态筛选规则结合，实现在优化过程中逐步剔除不活跃特征和交互项。
• 通过基于对偶变量绝对值和向量范数降序排列的特征与查询重排，优化计算性能。

实验结果

研究问题

• RQ1 一种结合高效特征选择的工作集算法，是否能在高维交互模型中实现比标准 LASSO 求解器更快的速度与更强的可扩展性？
• RQ2 所提出的基于 MIPS 的工作集选择在不牺牲模型准确性的前提下，是否能显著减少评估的交互项数量？
• RQ3 与现有安全筛选和活跃集方法相比，新边界与剪枝策略在计算效率上的提升程度如何？
• RQ4 该算法是否能在真实遗传数据集（特征数达数十万，样本数达数万）上保持稀疏性与统计一致性的同时实现可扩展性？

主要发现

• WHInter 在模拟数据和真实遗传数据集上相比最先进方法提速最高达两个数量级，部分配置下提速超过 100 倍。
• MIPS1 组件相比朴素内积计算将运行时间减少 1.6 倍，与理想化的倒排列表（IL）方法相比最慢达 11 倍，但在实际应用中仍保持高度高效。
• 广度优先版本的 SPP 相比原始深度优先 SPP 提升剪枝效率 20–60%，根据数据集大小不同，提速范围为 ×1.2 至 ×1.6。
• 在 n = 1000 且 p = 10,000 的数据集上，WHInter 在 10 秒内完成完整的正则化路径计算，展现出强大的可扩展性。
• 该算法在保持高模型准确率与稀疏性的同时，支持恢复性能与精确 LASSO 求解器相当，但运行时间大幅缩短。
• 工作集选择与动态筛选规则的结合，实现了不活跃特征的渐进式剔除，显著减少了优化过程中的活跃变量数量。