[论文解读] Normal approximation and concentration of spectral projectors of sample covariance

Vladimir Koltchinskii, Karim Lounici|arXiv (Cornell University)|Apr 27, 2015

Random Matrices and Applications参考文献 21被引用 65

一句话总结

本文在高维高斯希尔伯特空间中，为样本协方差算子的谱投影算子的平方希尔伯特-施密特范数误差 $\|\hat{P}_r - P_r\|_2^2$ 建立了紧致的正态近似界。通过有效秩 $\mathbf{r}(\Sigma) = \mathrm{tr}(\Sigma)/\|\Sigma\|_\infty$ 表征近似精度，给出了非渐近的集中与方差界，并在 $\mathbf{r}(\Sigma) = o(n)$ 条件下证明了渐近正态性。

ABSTRACT

Let $X,X_1,\\dots, X_n$ be i.i.d. Gaussian random variables in a separable Hilbert space ${\\mathbb H}$ with zero mean and covariance operator $\\Sigma={\\mathbb E}(X\\otimes X),$ and let $\\hat \\Sigma:=n^{-1}\\sum_{j=1}^n (X_j\\otimes X_j)$ be the sample (empirical) covariance operator based on $(X_1,\\dots, X_n).$ Denote by $P_r$ the spectral projector of $\\Sigma$ corresponding to its $r$-th eigenvalue $\\mu_r$ and by $\\hat P_r$ the empirical counterpart of $P_r.$ The main goal of the paper is to obtain tight bounds on $$ \\sup_{x\\in {\\mathbb R}} \\left|{\\mathbb P}\\left\\{\\frac{\\|\\hat P_r-P_r\\|_2^2-{\\mathbb E}\\|\\hat P_r-P_r\\|_2^2}{{\ m Var}^{1/2}(\\|\\hat P_r-P_r\\|_2^2)}\\leq x\ ight\\}-\\Phi(x)\ ight|, $$ where $\\|\\cdot\\|_2$ denotes the Hilbert--Schmidt norm and $\\Phi$ is the standard normal distribution function. Such accuracy of normal approximation of the distribution of squared Hilbert--Schmidt error is characterized in terms of so called effective rank of $\\Sigma$ defined as ${\\bf r}(\\Sigma)=\\frac{{\ m tr}(\\Sigma)}{\\|\\Sigma\\|_{\\infty}},$ where ${\ m tr}(\\Sigma)$ is the trace of $\\Sigma$ and $\\|\\Sigma\\|_{\\infty}$ is its operator norm, as well as another parameter characterizing the size of ${\ m Var}(\\|\\hat P_r-P_r\\|_2^2).$ Other results include non-asymptotic bounds and asymptotic representations for the mean squared Hilbert--Schmidt norm error ${\\mathbb E}\\|\\hat P_r-P_r\\|_2^2$ and the variance ${\ m Var}(\\|\\hat P_r-P_r\\|_2^2),$ and concentration inequalities for $\\|\\hat P_r-P_r\\|_2^2$ around its expectation.

研究动机与目标

• 为样本协方差谱投影算子的平方希尔伯特-施密特误差 $\|\hat{P}_r - P_r\|_2^2$ 提供正态近似精度的非渐近界。
• 以有效秩 $\mathbf{r}(\Sigma)$ 表示，推导 $\mathbb{E}\|\hat{P}_r - P_r\|_2^2$ 及其方差的界。
• 在高维与无限维设定下，建立 $\|\hat{P}_r - P_r\|_2^2$ 围绕其均值的集中不等式。
• 在 $p = p_n \to \infty$ 且 $p = o(n)$ 的尖刺协方差模型下，分析归一化误差统计量的渐近分布。
• 通过模拟验证理论结果，比较偏差校正估计量与风险和方差的一阶近似。

提出的方法

• 以有效秩 $\mathbf{r}(\Sigma) = \mathrm{tr}(\Sigma)/\|\Sigma\|_\infty$ 作为关键复杂度参数，表征近似精度。
• 应用 Stein 方法与集中不等式，界定 $\|\hat{P}_r - P_r\|_2^2$ 的分布与正态分布之间的 Kolmogorov 距离。
• 基于 $\Sigma$ 的特征值与有效秩，推导 $\mathbb{E}\|\hat{P}_r - P_r\|_2^2$ 与 $\mathrm{Var}(\|\hat{P}_r - P_r\|_2^2)$ 的渐近展开式。
• 引入经验偏差估计量 $\hat{b}_r^{(n)}$ 与 $\tilde{b}_r^{(n)}$，以校正 $\|\hat{P}_r - P_r\|_2^2$ 中的偏差。
• 采用尖刺协方差模型 $\Sigma = s_1^2(\theta_1 \otimes \theta_1) + \sigma^2 I_p$ 研究高维渐近行为，其中 $p_n \to \infty$，$p_n = o(n)$。
• 通过 1000 次蒙特卡洛重复模拟验证理论发现，比较风险与方差估计量。

实验结果

研究问题

• RQ1 在高维设定下，$\|\hat{P}_r - P_r\|_2^2$ 的分布能多准确地被正态分布近似？
• RQ2 有效秩 $\mathbf{r}(\Sigma)$ 在决定谱投影误差正态近似精度与集中性方面起什么作用？
• RQ3 在有限样本中，经验偏差估计量 $\hat{b}_r^{(n)}$ 与 $\tilde{b}_r^{(n)}$ 对真实风险 $\mathbb{E}\|\hat{P}_r - P_r\|_2^2$ 的近似效果如何？
• RQ4 在尖刺协方差模型下，归一化误差 $\frac{n}{\hat{B}_n}(\|\hat{P}_1^{(n)} - P_1\|_2^2 + 2\hat{b}_1^{(n)})$ 的渐近分布是什么？
• RQ5 一阶近似与经验估计在有限样本中对风险与方差的比较表现如何？

主要发现

• 在 $\mathbf{r}(\Sigma) = o(n)$ 条件下，$\|\hat{P}_r - P_r\|_2^2$ 的分布与正态分布之间的 Kolmogorov 距离被界为 $O(\mathbf{r}(\Sigma)^{-1/2})$。
• 当 $p = 10^3$ 且样本量较小（$n \leq 300$）时，经验偏差估计量 $-2\hat{b}_1^{(n)}$ 比一阶近似 $A_n/n$ 提供更优的风险近似。
• 当样本量较大（$n \geq 10^3$）时，一阶近似 $A_n/n$ 的精度超过 $-2\hat{b}_1^{(n)}$，相对偏差降至 0.008。
• 方差估计量 $\tilde{V}_n = \left((1 + \hat{b}_1^{(n)})^2 - (1 + \tilde{b}_1^{(n)})^2\right)^2$ 与一阶近似 $B_n^2/n^2$ 均随 $n$ 增大而减少与经验方差 $\hat{S}_n^2$ 的相对偏差，在 $n = 10^4$ 时达到 0.05。
• 在 $p_n \to \infty$ 且 $p_n = o(n)$ 的尖刺模型下，归一化统计量 $\frac{n}{\hat{B}_n}(\|\hat{P}_1^{(n)} - P_1\|_2^2 + 2\hat{b}_1^{(n)})$ 依分布收敛于标准正态变量。
• 当 $p = 1000$ 时，归一化误差统计量的经验密度与标准正态分布高度吻合，验证了渐近正态性结果。