[论文解读] Sparse PCA With Multiple Components

Ryan Cory-Wright, Jean Pauphilet|arXiv (Cornell University)|Sep 29, 2022

Sparse and Compressive Sensing Techniques被引用 8

一句话总结

本文提出了三种用于稀疏主成分分析（PCA）的新型算法，支持多分量，确保正交性并实现接近最优的方差解释。通过结合半定松弛、拉格朗日分解和组合上界，该方法在数分钟内即可对具有数千个特征的数据集实现可证明的近似最优解，优于现有基于降维的方法，后者在施加稀疏性时会违反正交性约束。

ABSTRACT

Sparse Principal Component Analysis (sPCA) is a cardinal technique for obtaining combinations of features, or principal components (PCs), that explain the variance of high-dimensional datasets in an interpretable manner. This involves solving a sparsity and orthogonality constrained convex maximization problem, which is extremely computationally challenging. Most existing works address sparse PCA via methods-such as iteratively computing one sparse PC and deflating the covariance matrix-that do not guarantee the orthogonality, let alone the optimality, of the resulting solution when we seek multiple mutually orthogonal PCs. We challenge this status by reformulating the orthogonality conditions as rank constraints and optimizing over the sparsity and rank constraints simultaneously. We design tight semidefinite relaxations to supply high-quality upper bounds, which we strengthen via additional second-order cone inequalities when each PC's individual sparsity is specified. Further, we derive a combinatorial upper bound on the maximum amount of variance explained as a function of the support. We exploit these relaxations and bounds to propose exact methods and rounding mechanisms that, together, obtain solutions with a bound gap on the order of 0%-15% for real-world datasets with p = 100s or 1000s of features and r \in {2, 3} components. Numerically, our algorithms match (and sometimes surpass) the best performing methods in terms of fraction of variance explained and systematically return PCs that are sparse and orthogonal. In contrast, we find that existing methods like deflation return solutions that violate the orthogonality constraints, even when the data is generated according to sparse orthogonal PCs. Altogether, our approach solves sparse PCA problems with multiple components to certifiable (near) optimality in a practically tractable fashion.

研究动机与目标

• 解决目前缺乏可同时生成稀疏、相互正交主成分（r > 1）且具备最优性保证的方法的问题。
• 克服基于降维方法的局限性，这些方法在施加稀疏性时无法保持正交性和最优性。
• 开发实用且可计算的算法，将多分量稀疏PCA问题求解至可证明的近似最优。
• 通过多种松弛与舍入策略，提供紧致的上界和高质量的可行解。
• 实证表明，与现有最先进方法相比，所提方法在方差解释能力和正交性满足方面表现更优。

提出的方法

• 将具有多分量的稀疏PCA建模为一个非凸、非光滑的优化问题，包含稀疏性和正交性约束。
• 通过将正交性重新表述为秩约束，并引入二阶锥不等式进行强化，构建紧致的半定松弛。
• 提出一种拉格朗日分解方法，通过惩罚正交性违反来实现，使问题可分解为一系列顺序的单分量稀疏PCA子问题求解。
• 针对给定的支持模式，通过混合整数线性优化引入一种新型组合上界，支持松弛-舍入方案的实现。
• 利用当前最紧致的上界（来自半定松弛）计算边界间隙，以证明解的近似最优性。
• 采用混合策略：结合三种算法中最佳的上界与最佳的可行解，确保输出质量。

实验结果

研究问题

• RQ1 我们能否开发一种稀疏PCA方法，支持多分量，保证正交性与近似最优性，而不同于基于降维的方法？
• RQ2 任何一组稀疏、相互正交的分量所能解释的最大方差的紧致上界是什么？
• RQ3 如何设计一种可计算的算法，能够同时优化多个稀疏且正交的分量，而非顺序处理？
• RQ4 在p = 1000级别、r ∈ {2,3}的真实数据集中，能否实现低于3%的边界间隙？
• RQ5 与现有方法相比，所提方法在方差解释能力与约束满足方面表现如何？

主要发现

• 在kr ≤ p条件下，所提算法在UCI数据集上的平均边界间隙为3.11%；在kr > p条件下，平均边界间隙为2.82%，表明解接近最优。
• 当kr ≤ p时，算法3提供可证明的近似最优解，平均边界间隙为3.11%；当kr > p时，算法2实现2.82%的平均边界间隙。
• 所有三种算法均返回稀疏且正交的主成分，而基于降维的方法即使在数据由稀疏正交主成分生成时，也违反正交性约束。
• 所有方法中表现最佳的解在方差解释能力上始终优于现有方法，且在真实数据集上得到验证。
• 在p = 1000级别的数据集上，算法平均运行时间低于100秒，展现出良好的可计算性。
• 采用对称稀疏性设计（k_t = k/r）使运行时间增加一个数量级，仅带来2%的平均方差解释增益，表明稀疏性设计存在权衡。