[论文解读] Surprising Asymptotic Conical Structure in Critical Sample Eigen-Directions

Dan Shen, Haipeng Shen+2 more|arXiv (Cornell University)|Mar 25, 2013

Random Matrices and Applications参考文献 16被引用 24

一句话总结

本文揭示了在高维脉冲协方差模型中，当维度与样本量和脉冲大小乘积之比收敛到非零常数时，样本特征向量呈现出一种出人意料的渐近锥形结构。在此临界 regime 下，样本特征向量以锥形结构围绕其总体对应物收敛，锥角由极限比值决定，这挑战了在高维渐近下主成分分析中经典的相合性概念。

ABSTRACT

The aim of this paper is to establish several deep theoretical properties of principal component analysis for multiple-component spike covariance models. Our new results reveal a surprising asymptotic conical structure in critical sample eigendirections under the spike models with distinguishable (or indistinguishable) eigenvalues, when the sample size and/or the number of variables (or dimension) tend to infinity. The consistency of the sample eigenvectors relative to their population counterparts is determined by the ratio between the dimension and the product of the sample size with the spike size. When this ratio converges to a nonzero constant, the sample eigenvector converges to a cone, with a certain angle to its corresponding population eigenvector.In the High Dimension, Low Sample Size case, the angle between the sample eigenvector and its population counterpart converges to a limiting distribution.Several generalizations of the multi-spike covariance models are also explored, and additional theoretical results are presented.

研究动机与目标

• 研究当维度与样本量和脉冲大小乘积之比收敛到有限非零常数时，主成分分析中样本特征向量的渐近行为。
• 将主成分分析的理论理解扩展至经典、随机矩阵和高维低样本量（HDLSS）渐近范式之外。
• 分析在高维极限下，当总体特征值可区分或不可区分时，样本特征向量的几何结构。
• 在临界渐近条件下，建立高维低样本量（HDLSS）设置下主成分得分和特征向量的一致性性质。
• 推广多脉冲协方差模型，并推导在临界和HDLSS渐近范式下特征向量夹角的极限分布。

提出的方法

• 分析在具有可区分或渐近不可区分特征值的多脉冲协方差模型下，样本特征向量的渐近分布。
• 利用随机矩阵理论中二次型的几乎必然收敛性，推导样本特征向量与对应总体特征向量之间夹角的极限表达式。
• 应用随机矩阵理论结果，特别是样本协方差矩阵特征值和特征向量的渐近行为。
• 利用特征值比值和迹统计量的几乎必然收敛性，建立样本特征向量的锥形收敛性。
• 通过特征向量矩阵的分解和样本协方差矩阵的渐近性质，推导特征向量分量的极限分布。
• 通过分析样本特征向量与对应总体特征向量张成子空间之间夹角的方式，将结果推广至特征值渐近不可区分的多脉冲模型。

实验结果

研究问题

• RQ1 当维度与样本量和脉冲大小乘积之比收敛到有限非零常数时，主成分分析中的样本特征向量会发生什么？
• RQ2 与经典或HDLSS渐近范式相比，临界渐近范式下样本特征向量的几何结构如何变化？
• RQ3 在HDLSS设置下，当条件处于临界状态时，样本特征向量与总体对应特征向量之间夹角的极限分布是什么？
• RQ4 当HDLSS范式下特征向量夹角收敛于零时，主成分得分的渐近行为如何？
• RQ5 当多个总体特征值在极限下不可区分时，样本特征向量的渐近行为是什么？

主要发现

• 当 $ d/(n\tilde{\nu}_j) \to c_j \in (0,\infty) $ 时，样本特征向量 $ \hat{u}_j $ 几乎必然收敛到以总体特征向量 $ u_j $ 为中心、锥角为 $ \theta_j = \arccos(1/\sqrt{1 + c_j}) $ 的锥形结构。
• 锥角随 $ c_j $ 增大而增大，因此更大的 $ c_j $ 意味着更宽的锥形，反映出特征向量方向的更大不确定性。
• 在HDLSS设置下，即使夹角收敛于零，$ \hat{u}_j $ 与 $ u_j $ 之间的夹角仍收敛到非退化的随机分布。
• 对于不可区分的特征值，样本特征向量收敛到由对应总体特征向量张成子空间的锥形结构，其锥角为 $ \arccos(1/\sqrt{1 + c_l}) $，其中 $ c_l $ 为该组的极限比值。
• 即使特征向量夹角收敛于零，主成分得分在HDLSS设置下也并非一致，表明在高维渐近下得分估计仍不可靠。
• 结果对一般多脉冲模型具有鲁棒性，并可推广至特征值渐近不可区分的情形，其收敛至锥形结构的规律由各组特异的比值 $ c_l $ 决定。