[论文解读] Scalable Algorithms for Learning High-Dimensional Linear Mixed Models

Zilong Tan, Kimberly Roche+2 more|arXiv (Cornell University)|Mar 12, 2018

Statistical Methods and Inference参考文献 24被引用 4

一句话总结

该论文提出了一种可扩展的、亚线性复杂度的算法，用于学习高维线性混合模型（LMMs），基于核矩阵和随机采样哈达玛变换（SRHT）的新型对偶估计器。该方法具备可证明的误差保证，与最先进方法相比显著降低了计算成本，从而在高维设置下实现了高效参数估计，并具备理论鲁棒性。

ABSTRACT

Linear mixed models (LMMs) are used extensively to model dependecies of observations in linear regression and are used extensively in many application areas. Parameter estimation for LMMs can be computationally prohibitive on big data. State-of-the-art learning algorithms require computational complexity which depends at least linearly on the dimension $p$ of the covariates, and often use heuristics that do not offer theoretical guarantees. We present scalable algorithms for learning high-dimensional LMMs with sublinear computational complexity dependence on $p$. Key to our approach are novel dual estimators which use only kernel functions of the data, and fast computational techniques based on the subsampled randomized Hadamard transform. We provide theoretical guarantees for our learning algorithms, demonstrating the robustness of parameter estimation. Finally, we complement the theory with experiments on large synthetic and real data.

研究动机与目标

• 为解决由于协变量维度p的线性依赖，导致高维线性混合模型（LMMs）参数估计计算不可行的问题。
• 开发在p上具有亚线性计算复杂度的算法，同时保持估计精度的理论保证。
• 实现在不进行降维的情况下，对所有原始协变量的固定效应系数的高效估计，保持效应大小解释的可解释性。
• 为一般协方差结构提供一种非迭代方法，并为分块对角随机效应结构提供一种快速EM变体。
• 在合成数据和真实世界基因组数据（包括WTCCC数据集）上，展示其在运行速度和准确性方面的实证表现。

提出的方法

• 引入基于n×n核矩阵的近似对偶估计器，该核矩阵通过随机采样哈达玛变换（SRHT）计算，将p的依赖关系从线性降低为亚线性。
• 提出近似方差成分（AVCs），具有闭式表达式，以替代传统方差成分，从而在固定效应估计过程中实现高效计算。
• 采用非迭代算法处理一般协方差矩阵，并为分块对角随机效应结构设计快速EM变体。
• 利用SRHT加速核矩阵近似，确保低秩结构被保留的同时最小化计算开销。
• 将该方法应用于合成数据和真实世界基因组数据（如WTCCC），并与最先进方法（如BSLMM）进行性能比较。
• 理论分析建立了估计参数与真实参数之间的可证明误差界，确保了参数估计的鲁棒性。

实验结果

研究问题

• RQ1 我们能否在保持理论保证的前提下，实现高维LMMs参数估计在p上的亚线性计算复杂度？
• RQ2 我们如何在不进行降维的情况下，高效估计所有p个协变量的固定效应系数，同时保持效应大小解释的可解释性？
• RQ3 我们能否用闭式表达的AVCs替代EM算法中的高成本矩阵求逆，以加速收敛而不损失准确性？
• RQ4 与最先进方法（如BSLMM和ARSVD）相比，该方法在真实基因组数据上的运行时间和预测性能如何？
• RQ5 该方法在不同数据维度和噪声水平下的实证鲁棒性和准确性如何？

主要发现

• 所提算法的计算复杂度为O(n²(k + log p) log k / ε²)，在p上为亚线性，使其相比现有方法最快可快n/log p倍。
• 在WTCCC数据集上，arLMM-AVC的中位运行时间仅为20.4分钟（T1D），而BSLMM为120.0分钟，实现了6倍加速。
• arLMM-AVC与BSLMM在所有七种疾病中，固定效应系数估计值之间的相关性均超过0.977，表明估计精度极高。
• 预测性能（以AUC衡量）在arLMM-AVC与BSLMM之间几乎完全相同，所有情况下差异均小于0.01。
• 在变量选择任务中，该方法在低、中、高信噪比配置下，成功捕获了超过90%的真实信号。
• 理论分析证实，近似误差以高概率有界，为参数估计的鲁棒性提供了可证明的保证。