[论文解读] Selecting the number of components in PCA via random signflips

David Hong, Yue Sheng+1 more|arXiv (Cornell University)|Dec 5, 2020

Random Matrices and Applications参考文献 78被引用 14

一句话总结

本文提出Signflip Parallel Analysis（FlipPA），一种在异方差噪声下选择主成分分析（PCA）成分数的新型方法。通过随机翻转数据条目的符号以生成经验零分布，FlipPA在经典方法失效的高维、异方差设定下，实现了非渐近的 I 类错误控制和一致的秩估计。

ABSTRACT

Principal component analysis (PCA) is a foundational tool in modern data analysis, and a crucial step in PCA is selecting the number of components to keep. However, classical selection methods (e.g., scree plots, parallel analysis, etc.) lack statistical guarantees in the increasingly common setting of large-dimensional data with heterogeneous noise, i.e., where each entry may have a different noise variance. Moreover, it turns out that these methods, which are highly effective for homogeneous noise, can fail dramatically for data with heterogeneous noise. This paper proposes a new method called signflip parallel analysis (FlipPA) for the setting of approximately symmetric noise: it compares the data singular values to those of "empirical null" matrices generated by flipping the sign of each entry randomly with probability one-half. We develop a rigorous theory for FlipPA, showing that it has nonasymptotic type I error control and that it consistently selects the correct rank for signals rising above the noise floor in the large-dimensional limit (even when the noise is heterogeneous). We also rigorously explain why classical permutation-based parallel analysis degrades under heterogeneous noise. Finally, we illustrate that FlipPA compares favorably to state-of-the art methods via numerical simulations and an illustration on data coming from astronomy.

研究动机与目标

• 解决在噪声方差随条目变化时主成分分析中秩估计的关键挑战，这是现代高维数据中常见但未充分解决的问题。
• 克服在异方差噪声条件下，经典方法如碎块图和基于置换的平行分析的失效问题。
• 开发一种理论基础坚实、数据驱动的方法，能够适应噪声异质性，而无需事先知晓噪声方差。
• 在高维极限下，为秩选择建立非渐近的 I 类错误控制和一致性保证。

提出的方法

• 通过在数据矩阵的每个条目上独立应用随机符号翻转（±1，概率相等）来生成经验零分布的奇异值。
• 将数据矩阵的观测奇异值与符号翻转矩阵的奇异值经验分布进行比较。
• 选择那些超过零分布分位数（例如，95%分位数）的奇异值对应的成分，类似于经典平行分析的做法。
• 理论分析表明，该过程可实现非渐近的 I 类错误控制，并在对称噪声下一致估计真实秩。
• 由于符号翻转在对称条件下保持了噪声的边际分布，该方法对条目异方差具有鲁棒性。
• 理论解释说明为何基于置换的平行分析在异方差下会失效，而符号翻转仍保持有效性。

实验结果

研究问题

• RQ1 基于符号翻转的零分布能否在异方差噪声下为 PCA 的秩选择提供有效的统计推断？
• RQ2 当噪声方差在条目间不同时，FlipPA 是否能在有限样本中保持 I 类错误控制？
• RQ3 在异方差噪声下，FlipPA 与经典及现代方法相比，在一致性和准确性方面表现如何？
• RQ4 为何基于置换的平行分析在异方差下性能下降，而符号翻转如何解决此问题？
• RQ5 当信号奇异值高于异方差噪声基线时，FlipPA 是否能在高维极限下一致估计真实秩？

主要发现

• FlipPA 实现了非渐近的 I 类错误控制，即错误拒绝原假设（即过度估计秩）的概率受到限制。
• 当信号奇异值超过噪声基线时，FlipPA 在高维极限下能一致选择正确的秩，即使在异方差噪声下亦然。
• 经典基于置换的平行分析在异方差噪声下会失效，因为置换无法保持噪声条目的边际分布。
• 数值模拟显示，随着噪声异质性增加，FlipPA 的表现优于通用奇异值阈值化（USVT）及其他最先进方法。
• 在包含 10,052 个类星体光谱的天文学数据集中，FlipPA 正确识别了潜在信号结构的秩，而 USVT 因过度估计噪声方差而出现欠选。
• 该方法对不同程度的异质性均具有鲁棒性，性能在不同噪声方差分布下保持稳定。