[论文解读] PCA, SVD, and Centering of Data

Donggun Kim, Kisung You|arXiv (Cornell University)|Jul 27, 2023

Spectroscopy and Chemometric Analyses被引用 4

一句话总结

本文严格分析了基于SVD的PCA中数据中心化的影响，表明若不进行中心化，第一个右奇异向量会捕捉均值方向，且在特定谱条件下，结果PCA嵌入可近似对齐于真实PCA。主要贡献在于对中心化与非中心化SVD-based PCA之间差异的理论表征，提供了省略中心化所引入误差的界。

ABSTRACT

The research detailed in this paper scrutinizes Principal Component Analysis (PCA), a seminal method employed in statistics and machine learning for the purpose of reducing data dimensionality. Singular Value Decomposition (SVD) is often employed as the primary means for computing PCA, a process that indispensably includes the step of centering - the subtraction of the mean location from the data set. In our study, we delve into a detailed exploration of the influence of this critical yet often ignored or downplayed data centering step. Our research meticulously investigates the conditions under which two PCA embeddings, one derived from SVD with centering and the other without, can be viewed as aligned. As part of this exploration, we analyze the relationship between the first singular vector and the mean direction, subsequently linking this observation to the congruity between two SVDs of centered and uncentered matrices. Furthermore, we explore the potential implications arising from the absence of centering in the context of performing PCA via SVD from a spectral analysis standpoint. Our investigation emphasizes the importance of a comprehensive understanding and acknowledgment of the subtleties involved in the computation of PCA. As such, we believe this paper offers a crucial contribution to the nuanced understanding of this foundational statistical method and stands as a valuable addition to the academic literature in the field of statistics.

研究动机与目标

• 研究在何种条件下，基于SVD的PCA在不进行中心化时，其嵌入能与中心化PCA的嵌入对齐。
• 阐明第一个右奇异向量在捕捉数据均值方向中的作用。
• 为省略中心化时基于SVD的PCA所引入的误差提供谱级理论界。
• 挑战并形式化一种常见启发式方法：即非中心化矩阵的第2至(k+1)个右奇异向量可近似代替中心化PCA的前k个主成分。
• 深化对基于SVD的PCA算法基础的理解，尤其是在高维设置下的表现。

提出的方法

• 作者比较了中心化数据矩阵 $\bar{X} = X - \mathbf{1}_n \bar{x}^\top$ 和非中心化矩阵 $X$ 的SVD，分析其奇异向量与奇异值。
• 他们推导出 $X$ 与 $\bar{X}$ 的平方奇异值部分和之间的谱界，表明 $\|X\|_{2,k+1}^2 - (\|\bar{X}\|_{2,k}^2 + n\|\bar{x}\|^2)$ 被 $\bar{\sigma}_1^2$ 所有界。
• 分析利用了 $X$ 的第一个右奇异向量与数据均值方向 $\bar{x}$ 之间的关系，建立了SVD与数据中心化之间的联系。
• 他们应用矩阵扰动理论与谱分解，表征了中心化与非中心化SVD之间嵌入的差异。
• 理论结果在一般假设下推导得出，包括 $p < n$，并通过推论7扩展至低秩数据矩阵。
• 本文通过谱解释说明了广为流传的信念：即非中心化矩阵的第2至(k+1)个右奇异向量可近似表示中心化PCA的前k个主成分。

实验结果

研究问题

• RQ1 在何种条件下，非中心化SVD的PCA嵌入可近似对齐于中心化SVD的嵌入？
• RQ2 非中心化数据矩阵 $X$ 的第一个右奇异向量如何与数据的均值方向相关？
• RQ3 中心化与非中心化SVD中，前k个分量所解释的总方差差异的理论界是什么？
• RQ4 广为流传的启发式方法——即使用非中心化矩阵的第2至(k+1)个右奇异向量作为中心化PCA前k个主成分的替代——能否在理论上得到支持？
• RQ5 数据矩阵的秩如何影响非中心化SVD作为真实PCA近似的准确性？

主要发现

• 根据定理6，非中心化与中心化SVD中前k个分量所解释的总方差差异，被中心化矩阵的最大奇异值的平方 $\bar{\sigma}_1^2$ 所有界。
• 当数据矩阵为低秩时，差异仍被 $\bar{\sigma}_1^2$ 所有界，且与真实秩无关，如推论7所形式化。
• 非中心化矩阵 $X$ 的第一个右奇异向量与均值方向 $\bar{x}$ 对齐，解释了其为何能捕捉数据的全局位置。
• 非中心化矩阵 $X$ 的SVD可与 $\bar{X}$ 的SVD在谱上相关联，其平方奇异值部分和的差异被 $\bar{\sigma}_1^2$ 所有界，表明非中心化SVD捕捉了大部分主成分结构。
• 定理6中的界表明，$\|X\|_{2,k+1}^2 - (\|\bar{X}\|_{2,k}^2 + n\|\bar{x}\|^2)$ 落在 $(-\bar{\sigma}_1^2, \bar{\sigma}_1^2)$ 内，提供了近似误差的定量度量。
• 结果在受限条件下验证了广为流传的启发式方法，表明使用 $X$ 的第2至(k+1)个右奇异向量可良好近似 $\bar{X}$ 的前k个主成分，尤其当 $\bar{\sigma}_1^2$ 相对于总方差较小时。