[论文解读] PCA from noisy, linearly reduced data: the diagonal case

Edgar Dobriban, William Leeb+1 more|arXiv (Cornell University)|Nov 30, 2016

Sparse and Compressive Sensing Techniques参考文献 40被引用 5

一句话总结

本文针对数据在已知对角矩阵作用下线性降维（如缺失数据或去卷积问题）且受噪声污染时的主成分分析（PCA）问题，提出了最优收缩方法。建立了高维渐近理论，分析奇异值与奇异向量的渐近行为，推导出协方差估计与去噪的最优特征值与奇异值收缩规则，并表明最优经验最佳线性预测器（EBLP）的调参策略在样本内与样本外去噪中有所不同，但两种情形下的最小均方误差在渐近下相同。

ABSTRACT

Suppose we observe data of the form $Y_i = D_i (S_i + \varepsilon_i) \in \mathbb{R}^p$ or $Y_i = D_i S_i + \varepsilon_i \in \mathbb{R}^p$, $i=1,\ldots,n$, where $D_i \in \mathbb{R}^{p imes p}$ are known diagonal matrices, $\varepsilon_i$ are noise, and we wish to perform principal component analysis (PCA) on the unobserved signals $S_i \in \mathbb{R}^p$. The first model arises in missing data problems, where the $D_i$ are binary. The second model captures noisy deconvolution problems, where the $D_i$ are the Fourier transforms of the convolution kernels. It is often reasonable to assume the $S_i$ lie on an unknown low-dimensional linear space; however, because many coordinates can be suppressed by the $D_i$, this low-dimensional structure can be obscured. We introduce diagonally reduced spiked covariance models to capture this setting. We characterize the behavior of the singular vectors and singular values of the data matrix under high-dimensional asymptotics where $n,p o\infty$ such that $p/n oγ>0$. Our results have the most general assumptions to date even without diagonal reduction. Using them, we develop optimal eigenvalue shrinkage methods for covariance matrix estimation and optimal singular value shrinkage methods for data denoising. Finally, we characterize the error rates of the empirical Best Linear Predictor (EBLP) denoisers. We show that, perhaps surprisingly, their optimal tuning depends on whether we denoise in-sample or out-of-sample, but the optimally tuned mean squared error is the same in the two cases.

研究动机与目标

• 解决在信号同时受噪声污染且经由已知对角矩阵线性降维（如缺失数据或去卷积问题）时进行PCA的挑战。
• 在上述降维条件下，为协方差矩阵估计与数据去噪开发最优特征值与奇异值收缩方法。
• 刻画在 n, p → ∞ 且 p/n → γ > 0 的高维设定下，奇异向量与奇异值的渐近行为。
• 分析经验最佳线性预测器（EBLP）在去噪中的性能，区分样本内与样本外调参的情形。

提出的方法

• 提出对角降维的“spiked”协方差模型，以捕捉高维信号恢复中噪声与对角线性降维的联合效应。
• 在原始信号位于低维子空间的假设下，推导数据矩阵奇异值与奇异向量的高维渐近极限。
• 利用随机矩阵理论与矩阵逆差分公式，证明在渐近框架下，降维数据的经验协方差收敛于一个确定性等价形式。
• 基于渐近谱行为，推导出协方差估计的最优特征值收缩规则与去噪的最优奇异值收缩规则。
• 通过分析EBLP在样本内与样本外设定下的均方误差，推导出其最优调参策略。
• 证明尽管样本内与样本外去噪的最优调参参数不同，但两者对应的最小均方误差在渐近下完全一致。

实验结果

研究问题

• RQ1 当同时存在噪声与对角线性降维时，降维数据矩阵的奇异值与奇异向量的渐近行为如何？
• RQ2 从噪声污染、降维观测中估计原始信号协方差矩阵时，最优特征值收缩规则是什么？
• RQ3 从降维、噪声污染的数据中去噪原始信号时，最优奇异值收缩规则是什么？
• RQ4 经验最佳线性预测器（EBLP）的性能如何依赖于去噪是在样本内还是样本外进行？
• RQ5 EBLP在样本内与样本外去噪场景下所能达到的最小均方误差是否相同？

主要发现

• 降维数据矩阵的奇异值与奇异向量的渐近分布收敛于一个依赖于信噪比与降维矩阵特性的确定性极限。
• 协方差估计的最优特征值收缩规则基于渐近谱分布推导得出，并在高维渐近下表现出一致性。
• 用于去噪的最优奇异值收缩方法在高维极限下可实现最小可能的均方误差。
• EBLP的最优调参参数在样本内与样本外去噪中不同，但两种情形下达到的最小均方误差在渐近下完全相同。
• 通过在信号分布“去局域化”时，经验协方差结构与理论协方差结构的渐近等价性，建立了EBLP收敛于最优去噪器的结论。
• 本文为噪声污染、降维数据环境下的PCA提供了严格的理论基础，给出了最优收缩与预测性能的显式公式。