[论文解读] Principal Component Analysis: A Natural Approach to Data Exploration

Felipe L. Gewers, Gustavo R. Ferreira+5 more|arXiv (Cornell University)|Apr 7, 2018

Spectroscopy and Chemometric Analyses参考文献 62被引用 105

一句话总结

本文将PCA呈现为数据探索与降维的实用、直观工具，讨论标准化效应，并对PCA在多领域的应用进行综述，以及对方差保留的实验性评估。

ABSTRACT

Principal component analysis (PCA) is often used for analyzing data in the most diverse areas. In this work, we report an integrated approach to several theoretical and practical aspects of PCA. We start by providing, in an intuitive and accessible manner, the basic principles underlying PCA and its applications. Next, we present a systematic, though no exclusive, survey of some representative works illustrating the potential of PCA applications to a wide range of areas. An experimental investigation of the ability of PCA for variance explanation and dimensionality reduction is also developed, which confirms the efficacy of PCA and also shows that standardizing or not the original data can have important effects on the obtained results. Overall, we believe the several covered issues can assist researchers from the most diverse areas in using and interpreting PCA.

研究动机与目标

• 解释PCA的基本原理及其几何解释，即将数据在主轴上的方差最大化的旋转。
• 综述PCA在生物学、医学、神经科学、心理学、工程等领域的应用，以说明其多样性。
• 研究预处理选择，尤其是标准化，对PCA结果和方差保留的影响。

提出的方法

• 将PCA表示为 Y = W X，其中 W 包含中心化数据协方差矩阵的特征向量。
• 计算协方差矩阵 K = Cov(X) 及其特征值/特征向量以构造 W。
• 通过 S 与 Sc 解释方差保留，并定义解释方差比 G = (Sc/S) × 100%。
• 讨论基于保留方差（例如70%）来选择成分数量 M 的标准，以及对维数估计的概率和贝叶斯方法的参考。
• 分析实际考虑因素，如是否标准化、PCA轴的特性（方向不唯一、旋转以及最大方差的示例）。

实验结果

研究问题

• RQ1 PCA 如何对数据去相关并在主轴上最大化方差？
• RQ2 对PCA结果和方差保留而言，标准化与不标准化数据的影响如何？
• RQ3 在不同数据集上需要多少个主成分才能保留期望的总方差？
• RQ4 在哪些情境下应将PCA用作预处理步骤，以便帮助进行更复杂的投影或分析？
• RQ5 在不同领域中，PCA轴和载荷的实际局限性及解释方面有哪些？

主要发现

• PCA 使原始变量去相关，并将方差集中在前几个轴上，从而实现有效的降维。
• 标准化可能显著影响PCA结果；不当的标准化可能放大噪声或无意义的差异。
• 在PCA旋转下，总方差被保留，保留方差 Sc 决定所选的成分数量 M，通过 G = (Sc/S) × 100%。
• PCA轴的方向并非唯一（轴的符号可翻转而不改变结果）。
• PCA 可以在更昂贵的投影之前使用，以简化数据并改善统计表示。
• 实证证据表明，在许多现实数据集中可以实现显著的方差保留。