[论文解读] Unsupervised and Supervised Principal Component Analysis: Tutorial

Benyamin Ghojogh, Mark Crowley|arXiv (Cornell University)|Jun 1, 2019

Blind Source Separation Techniques参考文献 43被引用 19

一句话总结

本教程全面概述了主成分分析（PCA）、有监督主成分分析（SPCA）、核主成分分析（kernel PCA）以及核有监督主成分分析（kernel SPCA），涵盖无监督与有监督的降维技术。内容包括投影公式、基于特征值分解与SVD的PCA、对偶与核方法，以及样本外扩展技术，并通过Frey和AT&T人脸数据集的仿真验证了理论原理在实践中的应用。

ABSTRACT

This is a detailed tutorial paper which explains the Principal Component Analysis (PCA), Supervised PCA (SPCA), kernel PCA, and kernel SPCA. We start with projection, PCA with eigen-decomposition, PCA with one and multiple projection directions, properties of the projection matrix, reconstruction error minimization, and we connect to autoencoder. Then, PCA with singular value decomposition, dual PCA, and kernel PCA are covered. SPCA using both scoring and Hilbert-Schmidt independence criterion are explained. Kernel SPCA using both direct and dual approaches are then introduced. We cover all cases of projection and reconstruction of training and out-of-sample data. Finally, some simulations are provided on Frey and AT&T face datasets for verifying the theory in practice.

研究动机与目标

• 提供一个统一且深入的无监督与有监督PCA教程，涵盖核方法与对偶公式。
• 阐明PCA的数学基础，如投影、重构与特征值分解，并与自编码器建立联系。
• 解释如何通过评分与希尔伯特-施密特独立性准则将类别标签引入PCA，以实现有监督的降维。
• 推导并展示PCA与核PCA的样本外扩展技术，确保模型在训练数据之外的泛化能力。
• 通过真实世界人脸数据集（Frey与AT&T）的仿真验证理论概念，展示其在实践中的适用性。

提出的方法

• 采用基于投影的公式推导PCA，通过将数据正交投影到矩阵U的列空间，最小化重构误差。
• 推导投影矩阵 Π = U(UᵀU)⁻¹Uᵀ，并说明其在从低维投影中重构数据中的作用。
• 通过协方差矩阵的特征值分解与数据矩阵X的SVD推导PCA，建立两种方法之间的等价性。
• 当d ≫ n时，提出对偶PCA作为替代公式，通过在n维空间中求解对偶问题。
• 通过核函数将数据映射到高维特征空间，应用核方法以实现非线性流形学习。
• 引入核SPCA的直接与对偶公式，通过核矩阵中心化处理特征空间中的均值去除问题。

实验结果

研究问题

• RQ1 如何通过最小化投影与重构误差的框架推导并解释PCA？
• RQ2 通过特征值分解与SVD推导PCA的数学与算法差异是什么？二者如何等价？
• RQ3 有监督主成分分析（SPCA）如何通过引入类别标签提升降维性能，相比标准PCA？
• RQ4 希尔伯特-施密特独立性准则在SPCA中的作用是什么？与基于评分的SPCA方法有何不同？
• RQ5 如何利用核矩阵中心化与对偶公式，将样本外数据投影到已学习的PCA或核PCA子空间中？

主要发现

• 本文成功推导并关联了PCA的多种公式，包括特征值分解、SVD与对偶PCA，展示了其数学等价性。
• 证明PCA等价于在最小二乘意义下最小化重构误差，最优投影矩阵通过正交投影推导得出。
• 教程表明，通过将数据映射到高维空间并在其中应用线性PCA，核PCA可实现非线性降维。
• 对于SPCA，本文比较了两种方法：特征评分法（Bair et al.）与希尔伯特-施密特独立性准则法（Barshan et al.），后者提供了更严谨的理论基础。
• 通过利用训练数据统计信息对核矩阵进行双重中心化，实现了核PCA的样本外扩展，使新数据点可被投影到已学习的子空间中。
• 在Frey与AT&T人脸数据集上的仿真结果验证了理论预测，表明在实践中实现了有效的降维与重构性能。