[论文解读] Nonconvex Statistical Optimization: Minimax-Optimal Sparse PCA in Polynomial Time

Zhaoran Wang, Huanran Lu+1 more|arXiv (Cornell University)|Aug 22, 2014

Sparse and Compressive Sensing Techniques参考文献 46被引用 30

一句话总结

本文提出了一种两阶段的“先松弛后收紧”框架用于稀疏主成分分析（sparse PCA），结合凸松弛与一种新颖的非凸优化算法（SOAP），在多项式时间内实现极小极大最优估计。该方法通过利用吸引盆（basin of attraction）实现对统计最优解的几何收敛，适用于非尖刺（non-spiked）、非高斯及依赖数据设置。

ABSTRACT

Sparse principal component analysis (PCA) involves nonconvex optimization for which the global solution is hard to obtain. To address this issue, one popular approach is convex relaxation. However, such an approach may produce suboptimal estimators due to the relaxation effect. To optimally estimate sparse principal subspaces, we propose a two-stage computational framework named "tighten after relax": Within the 'relax' stage, we approximately solve a convex relaxation of sparse PCA with early stopping to obtain a desired initial estimator; For the 'tighten' stage, we propose a novel algorithm called sparse orthogonal iteration pursuit (SOAP), which iteratively refines the initial estimator by directly solving the underlying nonconvex problem. A key concept of this two-stage framework is the basin of attraction. It represents a local region within which the `tighten' stage has desired computational and statistical guarantees. We prove that, the initial estimator obtained from the 'relax' stage falls into such a region, and hence SOAP geometrically converges to a principal subspace estimator which is minimax-optimal within a certain model class. Unlike most existing sparse PCA estimators, our approach applies to the non-spiked covariance models, and adapts to non-Gaussianity as well as dependent data settings. Moreover, through analyzing the computational complexity of the two stages, we illustrate an interesting phenomenon that larger sample size can reduce the total iteration complexity. Our framework motivates a general paradigm for solving many complex statistical problems which involve nonconvex optimization with provable guarantees.

研究动机与目标

• 弥合稀疏PCA中计算方法与统计理论之间的差距。
• 开发一种可计算的算法，实现稀疏主子空间估计的极小极大最优收敛速率。
• 为一般协方差模型下的非凸稀疏PCA提供可证明的计算与统计保证。
• 将现有方法扩展至超越尖刺协方差与高斯假设的场景。

提出的方法

• 该框架采用两阶段方法：首先通过早期停止的ADMM近似求解稀疏PCA的凸松弛问题，获得初始估计量。
• 证明初始估计量位于一个吸引盆内——即非凸精炼阶段能实现几何收敛的局部区域。
• 为“收紧”阶段提出一种新颖算法——稀疏正交匹配追踪（Sparse Orthogonal Iteration Pursuit, SOAP），用于直接求解非凸问题。
• SOAP通过类似幂迭代的更新方式，迭代地对初始估计量进行精炼，同时强制施加稀疏性与正交性约束。
• 理论分析表明，在一般模型假设下，最终估计量可达到极小极大最优收敛速率。
• 该方法对非高斯性与依赖数据具有鲁棒性，且无需尖刺协方差假设。

实验结果

研究问题

• RQ1 非凸稀疏PCA问题能否在兼具计算效率与统计最优性的情况下求解？
• RQ2 凸松弛中的早期停止是否能提供一个位于非凸精炼吸引盆内的良好初始估计量？
• RQ3 能否设计一种可证明收敛的算法用于非凸稀疏PCA，以避免现有方法的局限性？
• RQ4 所提出的方法对非高斯与依赖数据结构是否具有鲁棒性？
• RQ5 随着样本量增加，总计算复杂度是否会降低？

主要发现

• 所提出的两阶段框架在多项式时间内实现了稀疏主子空间的极小极大最优估计。
• 早期停止ADMM得到的初始估计量位于吸引盆内，从而保障了SOAP的几何收敛性。
• SOAP在一般协方差模型下确保对极小极大最优估计量的几何收敛。
• 该方法适用于非尖刺、非高斯及依赖数据，而现有方法通常依赖强假设。
• 随着样本量增大，总迭代复杂度降低，揭示了样本量与计算成本之间一种有趣的反比关系。
• 理论界表明，在适当的样本量条件下，估计误差以高概率与(λk − λk+1)/2成正比。