[论文解读] Sparse PCA via Covariance Thresholding

Yash Deshpande, Andrea Montanari|arXiv (Cornell University)|Nov 20, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用 43

一句话总结

本文证明了在高维尺度下，协方差阈值化方法在稀疏主成分分析（sparse PCA）中可达到信息论极限下的最优支持恢复。当稀疏度水平 $ s_0 riangleq ext{supp}({f v}) $ 满足 $ s_0 riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 时，该方法以高概率恢复出真实的稀疏主成分。该方法优于以往的对角线阈值化方法，并与目前已知的最佳理论界一致。

ABSTRACT

In sparse principal component analysis we are given noisy observations of a low-rank matrix of dimension $n imes p$ and seek to reconstruct it under additional sparsity assumptions. In particular, we assume here each of the principal components $\mathbf{v}_1,\dots,\mathbf{v}_r$ has at most $s_0$ non-zero entries. We are particularly interested in the high dimensional regime wherein $p$ is comparable to, or even much larger than $n$. In an influential paper, \cite{johnstone2004sparse} introduced a simple algorithm that estimates the support of the principal vectors $\mathbf{v}_1,\dots,\mathbf{v}_r$ by the largest entries in the diagonal of the empirical covariance. This method can be shown to identify the correct support with high probability if $s_0\le K_1\sqrt{n/\log p}$, and to fail with high probability if $s_0\ge K_2 \sqrt{n/\log p}$ for two constants $0

研究动机与目标

• 为填补现有实用算法与稀疏主成分分析中理论保证之间的差距，特别是在 $ p o ext{large} $ 且 $ n riangleq ext{样本量} $ 的高维设置下支持恢复的理论空白。
• 严格证明协方差阈值化方法——此前推测可在 $ s_0 = O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 范围内成功——在一般高维尺度下可实现最优支持恢复。
• 在先前未探索的尺度下，推导出核随机矩阵范数的新界，从而实现对协方差和主成分恢复中估计误差的精确分析。
• 证明所提方法实现了最优样本复杂度，与已知的信息论下界一致，从而确立了多项式时间稀疏主成分分析的根本极限。

提出的方法

• 提出一种协方差阈值化算法：从经验协方差矩阵 $ f{G} $ 中选择 $ s_0 $ 个最大的对角线元素，将协方差矩阵限制在对应子矩阵上，并计算其主特征向量。
• 在 $ p o ext{large} $、$ n o ext{large} $ 且 $ s_0 $ 随 $ n $ 增长的高维情形下，使用一种新颖的核随机矩阵算子范数界对方法进行分析。
• 利用旋转不变性及高斯二次型的 Bernstein 型尾部界，对噪声下主成分估计器进行扰动分析。
• 在一般 $ n, p, s_0, r $ 的尺度下，推导出主成分估计的 $ oldsymbol{ u} $-范数和估计协方差矩阵的算子范数的高概率界。
• 通过索引上的并集界，并将估计误差仔细分解为三部分：噪声的谱范数、与真实信号的对齐误差，以及因支持不匹配导致的残差偏差。
• 证明：若 $ n riangleq ext{样本量} riangleq ext{polylog}(p) imes s_0 $，则在 $ eta, eta_{ ext{min}}, heta, heta $ 的一定条件下，阈值化估计器可以以高概率恢复真实支持 $ ext{supp}({f v}) $。

实验结果

研究问题

• RQ1 在 $ p riangleq ext{维度} o ext{large} $ 且 $ n riangleq ext{样本量} riangleq ext{与 } p ext{ 相当} $ 的高维尺度下，协方差阈值化方法能否实现稀疏主成分分析中的最优支持恢复？
• RQ2 通过协方差阈值化实现支持恢复的最优样本复杂度是多少？其是否与已知的信息论下界一致？
• RQ3 能否在一般 $ n, p, s_0 $ 尺度下，为核随机矩阵的范数建立新界，以分析稀疏主成分分析中的估计误差？
• RQ4 与对角线阈值化相比，协方差阈值化方法在样本复杂度和支持恢复精度方面是否表现更优？
• RQ5 在何种精确条件下，$ eta, eta_{ ext{min}}, heta, heta $ 可使该方法实现高概率支持恢复？

主要发现

• 只要 $ n riangleq ext{样本量} riangleq ext{polylog}(p) imes s_0 $，协方差阈值化算法即可以高概率恢复真实稀疏主成分 $ f{v} $，其中常数依赖于 $ eta, eta_{ ext{min}}, heta $。
• 当 $ s_0 riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $ 时，该方法可实现高概率支持恢复，与目前已知的最佳理论界一致，填补了与信息论极限之间的差距。
• 本文在先前未分析的高维尺度下，建立了核随机矩阵算子范数的新界，从而实现了对估计误差的精确控制。
• 该方法实现了最优样本复杂度：其与 [BR13, MW15a] 中已知的下界一致，表明不存在多项式时间算法能显著超越此性能。
• 主成分估计器的 $ oldsymbol{ u} $-范数误差为 $ riangleq O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $，且估计协方差矩阵在算子范数下的收敛速率为 $ O(eta heta ext{polylog}(p)/eta_{ ext{min}}) $。
• 分析证明：在 $ n riangleq ext{样本量} riangleq ext{polylog}(p) imes s_0 $ 的条件下，$ ext{supp}(f{v}) riangleq ext{真实支持} $ 可以以高概率被恢复，其中常数依赖于 $ eta, eta_{ ext{min}}, heta $。