[论文解读] The curse of isotropy: from principal components to principal subspaces

Tom Szwagier, Xavier Pennec|arXiv (Cornell University)|Jul 28, 2023

Spectroscopy and Chemometric AnalysesChemistry被引用 3

一句话总结

本文提出分层主成分分析（SPCA），这是概率PCA的推广，通过使用旗流形对具有重复特征值的协方差矩阵进行建模，实现了模型复杂度与拟合优度之间的合理权衡。研究发现，当相邻特征值之间的间隙低于21%时，需超过1000个样本才能区分，因此在小样本情形下，分块平均是更优的选择。

ABSTRACT

Principal component analysis is a ubiquitous tool in exploratory data analysis. It is widely used by applied scientists for visualization and interpretability purposes. We raise an important issue (the curse of isotropy) about the interpretation of principal components with close eigenvalues. They may indeed suffer from an important rotational variability, which is a pitfall for interpretation. Through the lens of a probabilistic covariance model parameterized with flags of subspaces, we show that the curse of isotropy cannot be overlooked in practice. In this context, we propose to transition from ill-defined principal components to more-interpretable principal subspaces. The final methodology (principal subspace analysis) is extremely simple and shows promising results on a variety of datasets from different fields.

研究动机与目标

• 解决在特征值接近时主成分分析中特征向量的实际可识别性问题，特别是在小样本情形下。
• 通过在信号空间中允许重复特征值（而不仅在噪声空间中），扩展概率PCA（PPCA），以提高模型的简洁性。
• 利用旗流形建立几何框架，统一参数化具有特征值重数的协方差模型。
• 通过利用特征值重数的分层结构，开发高效且一致的SPCA模型选择启发式方法。
• 通过实证验证，将相邻特征值按小间隙分组，相比标准PPCA，能实现更优的复杂度/拟合优度权衡。

提出的方法

• 提出一组协方差模型——SPCA，其中特征值被分组为相等值的块，由旗流形参数化。
• 通过样本协方差矩阵的特征值分解，再对相邻特征值进行分块平均，推导出显式的最大似然估计。
• 利用整数的组合（composition of integers）对特征值重数进行分层，定义SPCA模型上的偏序关系，实现分层模型选择。
• 应用贝叶斯信息准则（BIC）比较模型，其惩罚项考虑了由旗流形几何导出的自由参数数量。
• 开发一种分层聚类启发式方法：首先在相同重数块内合并特征值，然后按间隙大小递增的顺序合并块。
• 证明了分层聚类和最大似然选择的渐近一致性，表明随着样本量增加，可正确恢复真实模型。

Figure 1 : SPCA generative model ( 6 ), assuming that the observed data was first sampled from a sequence of independent lower dimensional normal latent variables, then linearly mapped to mutually orthogonal subspaces and finally shifted and added an isotropic Gaussian noise. The resulting density i

实验结果

研究问题

• RQ1 在何种条件下可以统计区分两个相邻的样本特征值？需要多少样本？
• RQ2 在小样本情形下，将具有小间隙的相邻特征值分组，是否能带来比标准PPCA更优的复杂度/拟合优度权衡？
• RQ3 基于旗流形的统一几何框架，能否为具有重复特征值的协方差模型提供合理参数化？
• RQ4 是否存在一种高效且一致的模型选择程序，适用于SPCA模型指数级增长的家族？
• RQ5 SPCA模型中的自由参数数量如何依赖于特征值重数结构？

主要发现

• 当一对相邻特征值的相对间隙低于21%时，使用BIC可靠区分至少需要1000个样本。
• 当相邻特征值间隙低于21%阈值时，具有相等特征值和二维特征子空间的模型在BIC下更优。
• SPCA模型在合成数据和真实数据上均实现了比标准PPCA更优的复杂度/拟合优度权衡，尤其在低样本量情形下。
• 用于模型选择的分层聚类启发式方法具有渐近一致性，随着样本量增加，能正确恢复真实模型类型。
• SPCA的最大似然估计可通过特征值分解和分块平均显式计算，自由参数数量由旗流形结构决定。
• 通过旗流形的几何解释，提供了一个统一框架，可推广PPCA和各向同性PPCA（IPPCA），并从分层结构中清晰推导出参数计数。

Figure 2 : Plot of the inverse threshold function $\delta^{-1}$ of Proposition 3 , corresponding to the minimal number of samples needed to distinguish two adjacent eigenvalues separated by a given relative eigengap.