[论文解读] Sparse PCA via Bipartite Matchings

Megasthenis Asteris, Dimitris Papailiopoulos+2 more|arXiv (Cornell University)|Aug 4, 2015

Sparse and Compressive Sensing Techniques参考文献 22被引用 14

一句话总结

本文提出了一种新颖的组合算法，用于具有不相交支持的多组分稀疏主成分分析（sparse PCA），通过二分图最大权匹配联合优化各组分。该方法在多项式时间内实现，利用低秩近似实现逼近最优方差捕获的保证，优于真实数据集上的贪心降维方法。

ABSTRACT

We consider the following multi-component sparse PCA problem: given a set of data points, we seek to extract a small number of sparse components with disjoint supports that jointly capture the maximum possible variance. These components can be computed one by one, repeatedly solving the single-component problem and deflating the input data matrix, but as we show this greedy procedure is suboptimal. We present a novel algorithm for sparse PCA that jointly optimizes multiple disjoint components. The extracted features capture variance that lies within a multiplicative factor arbitrarily close to 1 from the optimal. Our algorithm is combinatorial and computes the desired components by solving multiple instances of the bipartite maximum weight matching problem. Its complexity grows as a low order polynomial in the ambient dimension of the input data matrix, but exponentially in its rank. However, it can be effectively applied on a low-dimensional sketch of the data; this allows us to obtain polynomial-time approximation guarantees via spectral bounds. We evaluate our algorithm on real data-sets and empirically demonstrate that in many cases it outperforms existing, deflation-based approaches.

研究动机与目标

• 解决基于贪心降维方法在具有不相交支持的多组分稀疏主成分分析中的次优性问题。
• 联合优化具有不相交支持的多个稀疏组分，以最大化解释方差，而非逐个顺序优化。
• 为联合稀疏主成分分析问题提供接近最优解的理论近似保证。
• 通过低维近似降低计算复杂度，同时保持强理论性能边界。
• 在真实数据集上实证验证其相对于基于降维的最先进方法的优越性能。

提出的方法

• 该算法将稀疏主成分分析建模为在数据导出图上的多个二分图最大权匹配问题。
• 通过在变换后的数据表示上求解一系列组合匹配问题，联合计算具有不相交支持的 k 个稀疏组分。
• 利用输入协方差矩阵的谱近似，降低计算成本，基于数据的低秩近似进行运算。
• 通过谱界推导理论保证，提出一种加法项的多项式时间近似方案（additive PTAS），实现解释方差在 OPT − ε·s 之内，其中任意 ε > 0 且固定 k。
• 该算法在环境维度 d 上为多项式时间，但在协方差矩阵的秩上为指数时间，通过近似方法缓解此问题。
• 该方法避免迭代降维，通过同时优化各组分保留了更高的方差捕获能力。

实验结果

研究问题

• RQ1 联合优化多个不相交稀疏组分的方法是否能优于基于贪心降维的稀疏主成分分析方法？
• RQ2 基于二分图匹配的组合算法在多组分稀疏主成分分析中的理论近似质量如何？
• RQ3 低秩近似对所提方法的近似保证和计算复杂度有何影响？
• RQ4 在真实数据集上，该算法相较于最先进基于降维的稀疏主成分分析方法，在方差捕获方面提升了多少？
• RQ5 在谱衰减假设下，该算法能否实现稀疏主成分分析的加法项多项式时间近似方案（additive PTAS）？

主要发现

• 所提出的 SPCABiPart 算法在最优解的加法误差 ε·s 范围内实现方差捕获，为稀疏主成分分析建立了加法项多项式时间近似方案（additive PTAS）。
• 在 NYTimes BagOfWords 数据集上，当 k=8 且 s=20 时，SPCABiPart 捕获了 54.89% 的总方差，优于 SpanSPCA（52.81%）和 TPower（50.77%）。
• 该算法在实证上持续优于基于降维的方法，尤其在具有不相交支持时能捕获更高的总方差。
• 理论分析表明，该算法的近似比可任意接近 1，误差由近似步骤中的谱衰减决定。
• 该方法的复杂度在环境维度 d 上为多项式时间，但在协方差矩阵的秩上为指数时间，通过低秩近似得以缓解。
• 第 7 节中的一个简单示例表明，贪心降维方法存在次优性，从而证明了联合优化的必要性。