[论文解读] PAC-Bayesian bounds for Principal Component Analysis in Hilbert spaces

Ilaria Giulini|arXiv (Cornell University)|Nov 19, 2015

Sparse and Compressive Sensing Techniques参考文献 8被引用 7

一句话总结

本文提出了一种基于PAC-Bayesian理论的鲁棒主成分分析（PCA）在希尔伯特空间中的PAC-Bayesian边界，采用鲁棒的格拉姆矩阵估计器。通过使用利普希茨函数实现平滑的谱截断，该方法在算子范数和弗罗贝尼乌斯范数下实现了与维度无关的误差界，从而消除了对谱中较大特征值间隔的依赖。

ABSTRACT

Based on some new robust estimators of the covariance matrix, we propose stable versions of Principal Component Analysis (PCA) and we qualify it independently of the dimension of the ambient space. We first provide a robust estimator of the orthogonal projector on the largest eigenvectors of the covariance matrix. The behavior of such an estimator is related to the size of the gap in the spectrum of the covariance matrix and in particular a large gap is needed in order to get a good approximation. To avoid the assumption of a large eigengap in the spectrum of the covariance matrix we propose a robust version of PCA that consists in performing a smooth cut-off of the spectrum via a Lipschitz function. We provide bounds on the approximation error in terms of the operator norm and of the Frobenius norm.

研究动机与目标

• 开发一种与环境维度无关的稳定鲁棒PCA版本，尤其适用于高维或无限维希尔伯特空间。
• 解决经典PCA和鲁棒估计器在协方差算子谱中需要大特征值间隔的局限性。
• 利用PAC-Bayesian技术，为谱投影算子的近似误差提供非渐近、与维度无关的边界。
• 通过利用希尔伯特空间算子的性质和鲁棒格拉姆矩阵估计，将鲁棒PCA推广至无限维设置。
• 以平滑截断函数的利普希茨常数依赖替代对特征值间隔大小的依赖，从而扩大方法的适用范围。

提出的方法

• 采用PAC-Bayesian框架构造二次型的置信区域，进而基于经验数据构建鲁棒的格拉姆矩阵估计器。
• 通过类似几何中位数的原理，对协方差算子（格拉姆矩阵）进行鲁棒估计，确保在重尾分布下的稳定性。
• 提出使用1-利普希茨函数实现平滑谱截断，以替代特征值的尖锐阈值处理，从而避免对大特征值间隔的依赖。
• 利用截断函数的利普希茨常数，推导谱投影算子在算子范数和弗罗贝尼乌斯范数下的近似误差边界。
• 应用正交投影算子分解技术和希尔伯特空间中的谱分析，刻画真实投影算子与估计投影算子之间的差异。
• 通过利用集中不等式和PAC-Bayesian估计器的鲁棒性，建立与维度无关的误差边界。

实验结果

研究问题

• RQ1 鲁棒PCA能否以一种与环境维度无关的方式进行表述，特别是在无限维希尔伯特空间中？
• RQ2 在保持紧密误差边界的同时，如何消除鲁棒PCA中对谱中大特征值间隔的依赖？
• RQ3 谱截断函数的利普希茨常数与PCA中结果近似误差之间存在何种关系？
• RQ4 PAC-Bayesian不等式能否有效用于推导高维或函数型设置下谱投影算子的非渐近、与维度无关的边界？
• RQ5 鲁棒的格拉姆矩阵估计器如何提升PCA在重尾或受损数据分布下的稳定性？

主要发现

• 鲁棒的格拉姆矩阵估计器确保了在重尾数据下对特征值和特征向量的稳定估计，且仅需二阶矩条件，无需更高阶矩。
• 所提出的具有平滑截断的鲁棒PCA在算子范数下的误差界与截断函数的利普希茨常数成反比，从而替代了对大特征值间隔的需求。
• 在弗罗贝尼乌斯范数下，近似误差以相同的利普希茨常数和特征值衰减速率为界，实现了与维度无关的误差控制。
• 该方法可推广至可分希尔伯特空间，使鲁棒核PCA在非渐近、与维度无关的保证下得以实现。
• 理论边界通过谱分解和正交投影算子分析推导得出，表明真实与估计投影算子之间的差异受谱间隙和利普希茨平滑性的控制。
• 结果为非渐近性，且对有限样本大小成立，适用于高维或函数型数据分析的实际应用。