[论文解读] Pattern Alternating Maximization Algorithm for Missing Data in Large P, Small N Problems

Nicolas Städler, Daniel J. Stekhoven+1 more|arXiv (Cornell University)|May 3, 2010

Gene expression and cancer classification参考文献 29被引用 3

一句话总结

本文提出 MissPALasso，一种计算高效的算法，用于在高维 '大P，小N' 数据中插补缺失值，采用新颖的模式交替最大化方法。通过用软阈值化替代矩阵求逆并引入 Lasso 惩罚，该方法实现了稀疏回归系数，在模拟数据和真实微阵列数据集中的性能优于 k-NN、核范数最小化和 MissGLasso 等现有方法。

ABSTRACT

We propose a new and computationally efficient algorithm for maximizing the observed log-likelihood for a multivariate normal data matrix with missing values. We show that our procedure based on iteratively regressing the missing on the observed variables, generalizes the standard EM algorithm by alternating between different complete data spaces and performing the E-Step incrementally. In this non-standard setup we prove numerical convergence to a stationary point of the observed log-likelihood. For high-dimensional data, where the number of variables may greatly exceed sample size, we add a Lasso penalty in the regression part of our algorithm and perform coordinate descent approximations. This leads to a computationally very attractive technique with sparse regression coefficients for missing data imputation. Simulations and results on four microarray datasets show that the new method often outperforms other imputation techniques as k-nearest neighbors imputation, nuclear norm minimization or a penalized likelihood approach with an l1-penalty on the inverse covariance matrix.

研究动机与目标

• 解决现有基于 EM 的方法在高维设置下计算效率低下且缺乏稀疏性的问题。
• 提出一种基于似然的方法，通过在不同完整数据空间之间交替，推广标准 EM 算法。
• 通过引入 Lasso 惩罚，建立稀疏估计框架，以提升 '大P，小N' 情况下的可解释性与准确性。
• 证明该算法可收敛至观测对数似然函数的驻点。
• 在真实和模拟的微阵列数据上，证明其性能优于 k-NN、核范数最小化和惩罚似然方法。

提出的方法

• 提出 MissPA，一种非标准的 EM 类算法，通过在不同完整数据空间之间交替，并执行增量 E-Step。
• 在 E-Step 中用软阈值化算子替代矩阵求逆，以提升计算效率。
• 通过在回归步骤中引入 Lasso 惩罚，提出 MissPALasso，实现缺失数据插补的稀疏估计。
• 在高维设置下，使用坐标下降近似方法高效求解惩罚回归问题。
• 将优化问题表述为最大化惩罚变分自由能，通过缺失模式的迭代更新实现。
• 通过紧致性与夹逼不等式论证，证明算法可收敛至观测对数似然函数的驻点。

实验结果

研究问题

• RQ1 一种在不同完整数据空间之间交替的改进型 EM 算法，能否在高维缺失数据问题中实现更好的计算效率？
• RQ2 在 E-Step 中用软阈值化替代矩阵求逆，是否能提升插补的计算可扩展性与稀疏性？
• RQ3 在回归步骤中引入 Lasso 正则化，是否能在 '大P，小N' 设置下实现更准确且可解释的插补？
• RQ4 MissPALasso 在真实微阵列数据集上的性能与 k-NN、核范数最小化和 MissGLasso 相比如何？
• RQ5 所提出的算法是否具有数值稳定性，并保证收敛至观测对数似然函数的驻点？

主要发现

• MissPALasso 通过在 E-Step 中用软阈值化替代矩阵求逆，显著提升了计算效率，避免了对大协方差矩阵的昂贵运算。
• 通过 Lasso 惩罚实现稀疏回归系数，增强了高维设置下的可解释性并减少了过拟合。
• 在四个微阵列数据集的模拟与真实数据分析中，MissPALasso 在插补准确性方面优于 k-NN、核范数最小化和 MissGLasso。
• 该方法在数值上收敛至观测对数似然函数的驻点，其收敛性通过紧致性与夹逼不等式论证得到严格证明。
• 即使在数据不满足低秩结构时，MissPALasso 仍表现出稳健性能，在非低秩场景下优于凸矩阵补全方法。
• 所提出的方法通过允许在不同完整数据空间之间交替，推广了标准 EM 算法，使缺失数据问题中的优化更具灵活性与效率。