[论文解读] Sparse PCA from Sparse Linear Regression

Guy Bresler, Sung Min Park+1 more|arXiv (Cornell University)|Nov 25, 2018

Blind Source Separation Techniques被引用 3

一句话总结

本文提出了一种新颖的约化方法，可将任意黑箱稀疏线性回归（SLR）求解器转化为稀疏主成分分析（SPCA）算法。通过使用SLR对每个变量在其余变量上的回归，该方法在单峰化协方差模型下，为假设检验和支撑恢复问题提供了近乎最优的统计保证，其性能与现有最先进方法相当，并具有可证明的误差界。

ABSTRACT

Sparse Principal Component Analysis (SPCA) and Sparse Linear Regression (SLR) have a wide range of applications and have attracted a tremendous amount of attention in the last two decades as canonical examples of statistical problems in high dimension. A variety of algorithms have been proposed for both SPCA and SLR, but an explicit connection between the two had not been made. We show how to efficiently transform a black-box solver for SLR into an algorithm for SPCA: assuming the SLR solver satisfies prediction error guarantees achieved by existing efficient algorithms such as those based on the Lasso, the SPCA algorithm derived from it achieves near state of the art guarantees for testing and for support recovery for the single spiked covariance model as obtained by the current best polynomialtime algorithms. Our reduction not only highlights the inherent similarity between the two problems, but also, from a practical standpoint, allows one to obtain a collection of algorithms for SPCA directly from known algorithms for SLR. We provide experimental results on simulated data comparing our proposed framework to other algorithms for SPCA.

研究动机与目标

• 建立稀疏线性回归（SLR）与稀疏主成分分析（SPCA）之间的正式算法关联，这两个问题具有相似的统计与计算权衡。
• 开发一种通用且高效的框架，将任意SLR求解器转化为具有理论保证的可证明有效的SPCA算法。
• 在单峰化协方差模型下，实现假设检验与支撑恢复的近似最优性能。
• 展示该框架对数据重缩放的鲁棒性，例如使用相关系数矩阵而非协方差矩阵。

提出的方法

• 该方法使用黑箱SLR求解器对数据的每个坐标在其余所有坐标上进行回归，将每个变量视为响应变量，其余变量视为预测变量。
• 对于每个坐标 $ i $，该方法基于SLR拟合的预测误差计算一个检验统计量 $ Q_i $。
• 通过检查是否存在任意 $ Q_i $ 超过与 $ \frac{k \log d}{n} $ 成比例的阈值，执行假设检验，以区分各向同性与峰化协方差模型。
• 对于支撑恢复，该方法通过选择 $ Q_i $ 超过阈值的坐标来识别峰向量的支撑集，前提是满足最小信号强度假设。
• 该框架对数据重缩放具有鲁棒性，理论与实证结果均表明其有效，即使在对角阈值法失效时亦然。
• 理论分析依赖于大维渐近下的集中不等式与联合界，以控制第一类与第二类错误概率。

实验结果

研究问题

• RQ1 能否系统性地将黑箱SLR求解器转化为具有可证明统计保证的SPCA算法？
• RQ2 所提出的约化方法是否在单峰化协方差模型下实现了假设检验与支撑恢复的近似最优信号强度阈值？
• RQ3 当使用相关系数矩阵而非协方差矩阵时，该框架的性能如何？
• RQ4 该约化方法对信号结构的变化是否具有鲁棒性，例如峰向量中非零元素不相等时？
• RQ5 与现有SPCA算法（如协方差阈值法与截断幂法）相比，该方法在实证上表现如何？

主要发现

• 所提出的SPCA算法的假设检验阈值为 $ \theta \gtrsim \sqrt{\frac{k^2 \log d}{n}} $，与对角阈值法及最小对偶扰动的相变阈值一致，仅相差常数因子。
• 在峰向量中每个非零元素至少为 $ \Omega(1/\sqrt{k}) $ 的假设下，该算法在 $ \theta \gtrsim \sqrt{\frac{k^2 \log d}{n}} $ 时以高概率成功实现支撑恢复。
• 实验结果表明，该框架在性能上优于协方差阈值法，尤其在数据被重缩放时，归因于其对基于相关性的预处理的鲁棒性。
• 该方法对重缩放具有鲁棒性，例如使用皮尔逊相关系数矩阵时，会使对角阈值法失效，但不会降低性能。
• 运行时间为 $ \tilde{O}(nd^2) $，主要由计算样本协方差矩阵的开销决定，其理论效率与谱方法及SDP方法相当。
• 实证结果表明，使用标准SLR求解器（如阈值Lasso）作为黑箱时，性能表现强劲，验证了该框架的实用性。