[论文解读] Notes on asymptotics of sample eigenstructure for spiked covariance models with non-Gaussian data

Iain M. Johnstone, Jeha Yang|arXiv (Cornell University)|Oct 24, 2018

Random Matrices and Applications参考文献 16被引用 4

一句话总结

本文在非高斯尖刺协方差模型中建立了样本特征值与特征向量的渐近正态性，将Paul（2007）的结果扩展至Bai与Yao（2008）的非高斯框架。研究为高维极限下主导样本特征结构的推断提供了严格基础，关键成果包括特征值与特征向量投影的极限分布，通过累积量修正非高斯峰峭度。

ABSTRACT

These expository notes serve as a reference for an accompanying post Morales-Jimenez et al. [2018]. In the spiked covariance model, we develop results on asymptotic normality of sample leading eigenvalues and certain projections of the corresponding sample eigenvectors. The results parallel those of Paul [2007], but are given using the non-Gaussian model of Bai and Yao [2008]. The results are not new, and citations are given, but proofs are collected and organized as a point of departure for Morales-Jimenez et al. [2018].

研究动机与目标

• 将Paul（2007）关于样本特征结构渐近正态性的结果，从高斯数据推广至尖刺协方差模型下的非高斯数据。
• 为Morales-Jimenez等人（2018）关于样本相关矩阵的研究中所使用的技术工具与证明提供自包含的参考。
• 分析非高斯性（特别是四阶累积量）对样本特征值与特征向量极限分布的影响。
• 在Bai与Yao（2008）的非高斯模型下，建立主导样本特征值与对应特征向量投影的渐近正态性。
• 通过推导考虑非高斯峰峭度与样本量缩放的极限分布，支持主成分分析中的高维推断。

提出的方法

• 采用Bai与Yao（2008）的非高斯尖刺协方差模型，其中总体协方差矩阵Σ具有少数几个大特征值（尖刺），其余特征值有界，且噪声分量独立同分布。
• 应用Marchenko-Pastur定律刻画噪声分量的极限谱分布，其极端特征值收敛至本体边缘。
• 运用扰动引理（引理13）推导在小随机扰动下特征值与特征向量的渐近展开式。
• 通过相变函数ρ(ℓ,γ) = ℓ + γℓ/(ℓ−1)推导样本特征值的极限分布，该函数决定位于本体边缘之上的异常值位置。
• 通过Kνjj′与张量收缩引入数据的四阶累积量，对特征值与特征向量投影的渐近方差中的非高斯峰峭度进行修正。
• 使用预解算子Hr(A)分解特征向量扰动，并推导特征向量偏差的二次误差界。

实验结果

研究问题

• RQ1 非高斯四阶累积量如何影响尖刺协方差模型中样本特征值的渐近分布？
• RQ2 当总体协方差矩阵具有少数几个大特征值且数据为非高斯时，主导样本特征值的极限分布是什么？
• RQ3 在非高斯条件下，样本特征向量在对应总体特征向量上的投影如何渐近表现？
• RQ4 标准化数据（即使用相关矩阵）与使用协方差矩阵相比，对PCA分量渐近正态性的影响有多大？
• RQ5 在Bai与Yao（2008）的非高斯模型下，样本特征结构的渐近正态性是否可建立？其与高斯情形有何不同？

主要发现

• 对应于尖刺ℓν > 1 + √γ的样本特征值几乎必然收敛至ρ(ℓν, γ) > bγ，其中ρ(ℓ, γ) = ℓ + γℓ/(ℓ−1)，确立了异常值行为的相变现象。
• 主导样本特征值的极限分布为渐近正态分布，其方差依赖于总体特征值ℓν与样本量比γ = p/n。
• 样本特征值的渐近方差包含一个与数据四阶累积量成比例的校正项，具体通过张量Kνjj′ = ∑k,k′ pν,k pν,k′ κjj′kk′ 表达。
• 样本特征向量在对应总体特征向量上的投影为渐近正态分布，其方差依赖于累积量张量与特征值间隔。
• 特征向量扰动界（83）表明，样本特征向量与总体特征向量的偏差在渐近下对扰动呈线性关系，且具有‖B‖²阶的二次误差界。
• 结果证实，非高斯性（尤其是过量峰峭度）会在特征值与特征向量的渐近分布中引入非零偏差，必须通过校正以实现有效推断。