[论文解读] Truncated Power Method for Sparse Eigenvalue Problems

Xiao–Tong Yuan, Tong Zhang|arXiv (Cornell University)|Dec 12, 2011

Sparse and Compressive Sensing Techniques参考文献 35被引用 254

一句话总结

本文提出截断幂法（truncated power method），一种计算高效的算法，通过将幂迭代与迭代硬阈值结合以强制稀疏性，用于求解稀疏特征值问题。该方法在温和条件下可证明恢复稀疏特征向量，为稀疏主成分分析（sparse PCA）和最密k子图问题提供了强有力的理论保证和具有竞争力的实验性能。

ABSTRACT

This paper considers the sparse eigenvalue problem, which is to extract dominant (largest) sparse eigenvectors with at most $k$ non-zero components. We propose a simple yet effective solution called truncated power method that can approximately solve the underlying nonconvex optimization problem. A strong sparse recovery result is proved for the truncated power method, and this theory is our key motivation for developing the new algorithm. The proposed method is tested on applications such as sparse principal component analysis and the densest $k$-subgraph problem. Extensive experiments on several synthetic and real-world large scale datasets demonstrate the competitive empirical performance of our method.

研究动机与目标

• 开发一种高效且理论基础坚实的算法，用于计算对称半正定矩阵的最大k稀疏特征向量。
• 针对稀疏特征值问题的非凸、NP难性质，提出一种实用但可证明有效的算法。
• 提供理论分析，表明当矩阵扰动相对于稀疏子矩阵较小时，该算法可恢复真实的稀疏特征向量。
• 在真实世界和合成数据集上展示该方法在稀疏主成分分析和最密k子图检测等应用中的有效性。

提出的方法

• 该方法通过在每次幂迭代后应用硬阈值步骤，将经典幂法扩展为仅保留最大k个绝对值分量，从而强制实现稀疏性。
• 在每次迭代中，算法计算 $ x_{t+1} = \text{shrink}(A x_t, k) $，其中 $ \text{shrink}(\cdot, k) $ 仅保留绝对值最大的k个元素。
• 算法初始化为随机向量或简单启发式方法，并通过瑞利商 $ x^\top A x $ 监测收敛性。
• 理论分析将恢复误差界限定为扰动矩阵 $ E $ 的稀疏子矩阵的谱范数，而非完整矩阵维度 $ p $。
• 该方法通过在相同约束下最小化 $ x^\top A x $，被扩展至最小k稀疏特征值问题。
• 对于最密k子图问题，通过使用邻接矩阵并应用相同的基于截断的幂迭代方法进行适应。

实验结果

研究问题

• RQ1 一种简单、迭代的截断方法能否有效近似对称矩阵的主要k稀疏特征向量？
• RQ2 当矩阵受到扰动时，在何种条件下截断幂法可证明恢复真实稀疏特征向量？
• RQ3 在稀疏主成分分析和最密k子图问题中，截断幂法的性能与现有贪心法和凸松弛方法相比如何？
• RQ4 理论恢复保证是否依赖于完整矩阵维度，还是仅依赖于稀疏度水平和子矩阵结构？

主要发现

• 截断幂法在稀疏主成分分析中表现具有竞争力，能从噪声协方差矩阵中成功恢复稀疏主成分。
• 在最密k子图问题中，TPower-DkS在子图密度方面优于Greedy-Feige和Greedy-Ravi，尤其在大规模图（如 hollywood-2009）上表现更优。
• 在航空航线数据集中，TPower-DkS发现了六个最密30子图，总密度达1.14，超过Greedy-Feige（0.90）和Greedy-Ravi（0.99）。
• 该方法计算高效：在 hollywood-2009 上，TPower-DkS 每k值运行约10秒，而Greedy-Feige为1秒，当k较大时Greedy-Ravi耗时显著更长。
• 理论分析表明，恢复误差取决于扰动 $ E $ 的稀疏子矩阵的谱范数，而非完整维度 $ p $，这解释了其出色的实验表现。
• 该方法是首个在一般条件下，为稀疏特征向量估计提供非渐近、非脉冲模型恢复保证的方法。