[论文解读] Principal Component Projection Without Principal Component Analysis

Roy Frostig, Cameron Musco+2 more|arXiv (Cornell University)|Feb 22, 2016

Matrix Theory and Algorithms参考文献 18被引用 11

一句话总结

本文提出了一种新颖的迭代算法，通过仅调用岭回归黑箱接口，无需执行主成分分析（PCA），即可将向量投影到矩阵的前导主成分上。该方法通过低次多项式近似矩阵阶跃函数，实现线性收敛，从而成为首个主成分回归（PCR）中无需PCA的算法，其运行时间与所选主成分数目无关。

ABSTRACT

We show how to efficiently project a vector onto the top principal components of a matrix, without explicitly computing these components. Specifically, we introduce an iterative algorithm that provably computes the projection using few calls to any black-box routine for ridge regression. By avoiding explicit principal component analysis (PCA), our algorithm is the first with no runtime dependence on the number of top principal components. We show that it can be used to give a fast iterative method for the popular principal component regression problem, giving the first major runtime improvement over the naive method of combining PCA with regression. To achieve our results, we first observe that ridge regression can be used to obtain a "smooth projection" onto the top principal components. We then sharpen this approximation to true projection using a low-degree polynomial approximation to the matrix step function. Step function approximation is a topic of long-term interest in scientific computing. We extend prior theory by constructing polynomials with simple iterative structure and rigorously analyzing their behavior under limited precision.

研究动机与目标

• 通过避免显式计算主成分，解决高维数据中PCA的计算瓶颈。
• 开发一种方法，无需执行PCA或计算特征向量，即可将向量投影到前导主成分子空间。
• 通过消除昂贵的PCA步骤，在保持精度的前提下实现更快的主成分回归（PCR）。
• 实现运行时间与所选前导主成分数量的独立性，这是传统基于PCA方法的关键限制。

提出的方法

• 利用岭回归作为真实投影算子的平滑近似，其中岭解近似奇异值的阶跃函数。
• 使用矩阵阶跃函数的低次多项式逼近，将岭回归输出锐化为真正的投影。
• 设计一种迭代算法，通过反复调用黑箱岭回归例程来应用多项式逼近。
• 通过分析有限精度算术下多项式逼近的行为，确保数值稳定性。
• 构建具有迭代结构的多项式，使其快速收敛至阶跃函数，最大限度减少谱投影中的误差。
• 利用向量在前导成分上的投影仅依赖于 A^T b 的投影结果，而非完整的 A_λ 矩阵这一事实。

实验结果

研究问题

• RQ1 我们能否在不显式计算主成分的情况下，将向量投影到矩阵的前导主成分上？
• RQ2 我们能否仅通过黑箱访问岭回归接口，完全避免PCA来实现这一点？
• RQ3 我们能否设计一种运行时间与所选前导主成分数量无关的方法？
• RQ4 我们能多准确地通过岭回归输出的多项式平滑来近似真实投影？
• RQ5 该方法能否提供比标准PCA+回归流水线更快的主成分回归（PCR）算法？

主要发现

• 所提算法在迭代次数上实现线性收敛，误差呈几何级减少。
• 该方法无需显式计算主成分，从而消除了SVD或特征值分解的 O(d^3) 成本。
• 对于具有谱间隙 γ = 0.1 的合成数据，投影相对误差在20次迭代内低于0.01。
• 在MNIST基回归任务中（谱间隙较小，γ ≈ 0.006），仅用20次迭代即可实现投影相对误差0.01。
• 该算法首次实现了无需PCA的PCR方法，具有可证明的快速收敛性，且不依赖于主成分数目。
• 理论分析表明，阶跃函数的多项式逼近在有限精度下一致收敛，确保了投影的稳定与准确。