[论文解读] Pattern Alternating Maximization Algorithm for High-Dimensional Missing Data

Nicolas Staedler, Peter Buehlmann|arXiv (Cornell University)|May 3, 2010

Gene expression and cancer classification参考文献 25被引用 5

一句话总结

本文提出了一种用于多元正态模型中高维缺失数据的模式交替最大化（PAM）算法。通过迭代地将缺失变量对已观测变量进行回归，并利用坐标下降法引入Lasso惩罚，PAM实现了高效且稀疏的插补，其在微阵列数据集上的表现优于k-NN、核范数和l1-惩罚逆协方差方法。

ABSTRACT

We propose a new and computationally efficient algorithm for maximizing the observed log-likelihood for a multivariate normal data matrix with missing values. We show that our procedure based on iteratively regressing the missing on the observed variables, generalizes the standard EM algorithm by alternating between different complete data spaces and performing the E-Step incrementally. In this non-standard setup we prove numerical convergence to a stationary point of the observed log-likelihood. For high-dimensional data, where the number of variables may greatly exceed sample size, we add a Lasso penalty in the regression part of our algorithm and perform coordinate descent approximations. This leads to a computationally very attractive technique with sparse regression coefficients for missing data imputation. Simulations and results on four microarray datasets show that the new method often outperforms other imputation techniques as k-nearest neighbors imputation, nuclear norm minimization or a penalized likelihood approach with an l1-penalty on the inverse covariance matrix.

研究动机与目标

• 解决变量数超过样本量的高维设置下的缺失数据挑战。
• 开发一种计算高效的算法，在多元正态假设下最大化观测对数似然。
• 通过在回归步骤中引入Lasso正则化以实现稀疏性，提升插补精度。
• 通过在不同完整数据空间之间交替并执行增量E步，推广标准EM算法。
• 为具有缺失值的微阵列及类似高维生物数据集提供可扩展的解决方案。

提出的方法

• 该算法采用基于模式的方法，迭代地将缺失变量对已观测变量进行回归，并在不同完整数据空间之间交替。
• 通过在每次迭代中执行增量E步而非完整的E步计算，推广了EM算法。
• 对于高维数据，对回归系数施加Lasso惩罚以引入稀疏性并减少过拟合。
• 使用坐标下降法作为近似方法，以高效求解惩罚回归子问题。
• 算法以模式特定的方式交替更新缺失数据估计值和优化回归系数。
• 在非标准交替框架下，证明了算法收敛至观测对数似然的驻点。

实验结果

研究问题

• RQ1 一种在不同完整数据空间之间交替的类似EM的算法，能否在高维缺失数据中实现更好的计算效率和收敛性？
• RQ2 在回归步骤中整合Lasso正则化对高维设置下的插补精度和稀疏性有何影响？
• RQ3 所提出的PAM算法是否优于k-NN、核范数最小化和l1-惩罚逆协方差估计等既定插补方法？
• RQ4 该算法在非标准交替优化框架下的收敛行为如何？
• RQ5 该方法在具有缺失值的真实世界高维微阵列数据集上的表现如何？

主要发现

• PAM算法即使在非标准交替优化设置下，也能在数值上收敛至观测对数似然的驻点。
• 在高维设置下，引入Lasso惩罚可产生稀疏回归系数，提升可解释性并减少过拟合。
• 在四个微阵列数据集上的模拟和真实数据结果表明，PAM在插补精度方面始终优于k-最近邻插补方法。
• 该方法在相同数据集上也优于核范数最小化和l1-惩罚似然方法。
• 通过坐标下降近似，PAM的计算效率得到提升，适用于大规模高维数据。
• 该算法在生物应用中不同数据结构和缺失数据模式下均表现出稳健性能。