[论文解读] Sparse PCA through Low-rank Approximations

Dimitris Papailiopoulos, Alexandros G. Dimakis+1 more|arXiv (Cornell University)|Mar 3, 2013

Sparse and Compressive Sensing Techniques参考文献 21被引用 36

一句话总结

该论文提出了一种新颖的组合算法用于稀疏主成分分析（sparse PCA），通过在低秩逼近下可证明高效地计算k-稀疏主成分。通过利用谱衰减特性并引入特征剔除步骤，该方法在多项式时间内提供了近似保证——尤其在幂律特征值衰减条件下表现尤为出色——并且在包含数百万个条目的大规模数据集上，其准确率和速度均优于以往方法。

ABSTRACT

We introduce a novel algorithm that computes the $k$-sparse principal component of a positive semidefinite matrix $A$. Our algorithm is combinatorial and operates by examining a discrete set of special vectors lying in a low-dimensional eigen-subspace of $A$. We obtain provable approximation guarantees that depend on the spectral decay profile of the matrix: the faster the eigenvalue decay, the better the quality of our approximation. For example, if the eigenvalues of $A$ follow a power-law decay, we obtain a polynomial-time approximation algorithm for any desired accuracy. A key algorithmic component of our scheme is a combinatorial feature elimination step that is provably safe and in practice significantly reduces the running complexity of our algorithm. We implement our algorithm and test it on multiple artificial and real data sets. Due to the feature elimination step, it is possible to perform sparse PCA on data sets consisting of millions of entries in a few minutes. Our experimental evaluation shows that our scheme is nearly optimal while finding very sparse vectors. We compare to the prior state of the art and show that our scheme matches or outperforms previous algorithms in all tested data sets.

研究动机与目标

• 开发一种在高维数据中可证明准确且高效的算法，用于计算k-稀疏主成分。
• 通过在现实谱条件下的多项式时间近似方案，解决稀疏PCA的计算不可行性问题。
• 通过施加稀疏性来提高主成分的可解释性，同时保持解释的方差。
• 通过组合式的特征剔除步骤，提前剔除无关特征，从而在大规模数据集上显著减少运行时间。

提出的方法

• 该算法在输入协方差矩阵A的低维特征子空间中运行，该子空间通过SVD计算至秩d。
• 它在该d维子空间中的特殊向量离散集合上执行组合搜索，以寻找具有高瑞利商的k-稀疏向量。
• 一个关键组件是可证明安全的特征剔除步骤，可移除贡献度较低的特征，从而在不损失解质量的前提下减小问题规模。
• 该方法使用Asteris等人求解器的改进版本，用于在稀疏向量上最大化二次型，该版本已适配用于稀疏PCA。
• 对于非负矩阵，通过定制化优化，该算法效率提高了2^d倍。
• 该算法的运行时间为O(n^{d+1} log n + SVD(A,d))，当d较小时，可在大规模n下实现可扩展性。

实验结果

研究问题

• RQ1 我们能否在现实谱衰减假设下，设计一种具有可证明近似保证的多项式时间稀疏PCA算法？
• RQ2 如何在不牺牲解质量的前提下，高效降低大规模数据上稀疏PCA的计算复杂度？
• RQ3 特征剔除在多大程度上能提升运行效率，同时保持稀疏主成分的最优性？
• RQ4 该算法能否在具有幂律特征值衰减的真实世界数据上实现接近最优的方差解释？
• RQ5 与TPower和FullPath等最先进方法相比，该算法在大规模文本数据上的准确率和速度表现如何？

主要发现

• 该算法对最优稀疏PCA目标实现了(1−ε_d)近似，其中ε_d受min{n/k · λ_{d+1}/λ_1, λ_{d+1}/λ_1^{(1)}}的界约束，其中λ_i为特征值，λ_1^{(1)}为最大对角元素。
• 对于具有幂律特征值衰减的矩阵，该算法提供了多项式时间近似方案（PTAS），在n和k的多项式时间内可实现任意期望精度ε。
• 在包含22.2万个唯一词汇和190万条目的Twitter数据集上，秩3近似达到了最大可解释方差的95.4%，优于TPower和FullPath。
• 特征剔除步骤将有效问题规模减少至仅40–80行（初始为64k行），从而在普通笔记本电脑上实现了亚分钟级运行时间。
• 在6.5万条推文数据集上，该算法在秩1时运行时间不足1秒，秩2时不足5秒，秩3时不足2分钟，展现出极高的可扩展性。
• 在所有测试数据集中，该算法在可解释性保持良好的前提下，其可解释方差匹配或超过以往最先进方法（包括TPower和FullPath），表现优异。