[论文解读] Parallel GPU Implementation of Iterative PCA Algorithms

M. Andrecut|ArXiv.org|Nov 7, 2008

Neural Networks and Applications参考文献 1被引用 4

一句话总结

本文提出了一种基于格拉姆-施密特重新正交化的GPU加速正交迭代PCA算法（GS-PCA），以克服标准NIPALS-PCA算法中正交性丢失的问题。该算法基于NVIDIA GPU上的CUBLAS实现，相较于CPU优化的CBLAS实现，最高可实现12倍的加速，同时确保了计算完整主成分集时的数值稳定性。

ABSTRACT

Principal component analysis (PCA) is a key statistical technique for multivariate data analysis. For large data sets the common approach to PCA computation is based on the standard NIPALS-PCA algorithm, which unfortunately suffers from loss of orthogonality, and therefore its applicability is usually limited to the estimation of the first few components. Here we present an algorithm based on Gram-Schmidt orthogonalization (called GS-PCA), which eliminates this shortcoming of NIPALS-PCA. Also, we discuss the GPU (Graphics Processing Unit) parallel implementation of both NIPALS-PCA and GS-PCA algorithms. The numerical results show that the GPU parallel optimized versions, based on CUBLAS (NVIDIA) are substantially faster (up to 12 times) than the CPU optimized versions based on CBLAS (GNU Scientific Library).

研究动机与目标

• 为解决如NIPALS-PCA等迭代PCA算法中存在的正交性丢失问题，此类问题限制了其仅能用于前几个主成分的计算。
• 开发一种数值稳定的迭代PCA算法，通过格拉姆-施密特重新正交化技术，在所有主成分上保持正交性。
• 利用GPU并行化技术，通过CUBLAS加速大规模数据集的PCA计算。
• 将GPU优化的GS-PCA与NIPALS-PCA算法，与CPU优化的CBLAS实现进行性能与稳定性对比。

提出的方法

• 提出GS-PCA，一种在每个主成分提取步骤中应用格拉姆-施密特正交化以保持正交性的迭代PCA算法。
• 采用两步迭代过程：首先通过矩阵-向量乘法估计载荷，然后通过正交投影更新得分。
• 在每次迭代中通过减去对先前计算主成分的投影，实现重新正交化，以维持正交性。
• 使用CUBLAS在GPU上实现该算法，以实现高性能线性代数运算，包括GEMV、GEMM、NRM2和SCAL。
• 在PCA计算前，使用CUBLAS DAXPY和DCOPY操作在GPU上完成输入数据的均值中心化。
• 通过cublasGetMatrix和cublasSetMatrix在主机与设备之间传输结果，确保CPU与GPU内存间的数据一致性。

实验结果

研究问题

• RQ1 GPU并行化的迭代PCA算法是否能像标准NIPALS-PCA那样，在所有主成分上保持正交性？
• RQ2 与CPU优化的CBLAS版本相比，GPU优化的GS-PCA实现快多少？
• RQ3 使用格拉姆-施密特重新正交化是否能消除迭代PCA中因累积误差导致的数值不稳定性？
• RQ4 在大规模数据集上，基于CUBLAS的GPU内核在PCA计算中可实现的最大加速比是多少？
• RQ5 GS-PCA是否能可靠地计算出完整的主成分集，而不会出现精度或正交性损失？

主要发现

• 对于大规模数据集，GPU优化的GS-PCA实现相较于CPU优化的CBLAS版本最高可实现12倍的加速。
• GS-PCA在所有迭代中成功保持了主成分的正交性，消除了NIPALS-PCA的数值不稳定性。
• 由于正交化过程的存在，该算法能够正确计算出完整的主成分集，而不仅限于前几个主成分。
• 在NVIDIA GPU上使用CUBLAS显著加速了关键线性代数运算，如矩阵-向量乘法和范数计算。
• 基于特征值差值的收敛准则（|λ′ − λ| < ε）在NIPALS-PCA与GS-PCA中均有效检测到稳定主成分估计。
• 实现正确重构了数据矩阵X = TP^T + R，收敛后残差R接近零，证实了算法的正确性。