[论文解读] Multivariate Analysis of Nonparametric Estimates of Large Correlation Matrices

Ritwik Mitra, Cun‐Hui Zhang|arXiv (Cornell University)|Mar 24, 2014

Random Matrices and Applications参考文献 34被引用 22

一句话总结

本论文在高斯拷贝模型下，为大维相关矩阵的非参数估计量建立了谱范数集中界限，重点关注正弦变换后的 Kendall’s tau 和 Spearman’s rho。证明了这些估计量在高维设置下可实现与已知样本相关矩阵（oracle）相当的谱误差率，从而实现对可带状相关矩阵的极小极大最优估计，以及对稀疏主成分分析（PCA）的最优估计。

ABSTRACT

We study concentration in spectral norm of nonparametric estimates of correlation matrices. We work within the confine of a Gaussian copula model. Two nonparametric estimators of the correlation matrix, the sine transformations of the Kendall's tau and Spearman's rho correlation coefficient, are studied. Expected spectrum error bound is obtained for both the estimators. A general large deviation bound for the maximum spectral error of a collection of submatrices of a given dimension is also established. These results prove that when both the number of variables and sample size are large, the spectral error of the nonparametric estimators is of no greater order than that of the latent sample covariance matrix, at least when compared with some of the sharpest known error bounds for the later. As an application, we establish the minimax optimal convergence rate in the estimation of high-dimensional bandable correlation matrices via tapering off of these nonparametric estimators. An optimal convergence rate for sparse principal component analysis is also established as another example of possible applications of the main results.

研究动机与目标

• 分析在潜在数据服从高斯拷贝模型时，非参数相关矩阵估计量（Kendall’s tau 和 Spearman’s rho）的准确性。
• 在高维设置下，为这些估计量建立谱范数集中界限，其中变量数 $d$ 和样本量 $n$ 均趋于无穷大。
• 证明在已知误差界限下，非参数估计量的谱误差在量级上不超过已知样本相关矩阵（oracle）的谱误差。
• 推导通过非参数估计量的截断法（tapering）估计高维可带状相关矩阵的极小极大最优收敛速率。
• 将结果扩展至稀疏主成分分析（PCA）等应用，表明利用这些非参数估计量可实现最优收敛速率。

提出的方法

• 使用高斯拷贝模型对不可观测的潜变量 $\boldsymbol{X}$ 建模，观测数据 $\boldsymbol{Y}$ 为 $\boldsymbol{X}$ 的未知严格递增变换。
• 分析两种非参数估计量：$\widehat{\boldsymbol{\Sigma}}^{\tau}$（正弦变换后的 Kendall’s tau）和 $\widehat{\boldsymbol{\Sigma}}^{\rho}$（正弦变换后的 Spearman’s rho），二者均基于有界核的 U-统计量。
• 应用 Hoeffding 不等式和利普希茨函数的测度集中性，推导估计误差谱范数的尾部概率界限。
• 采用 Hoeffding 分解，将估计误差分离为一阶项与退化二阶项，从而实现尾部概率的控制。
• 利用矩阵集中不等式和谱范数控制，对给定大小子矩阵的最大谱误差进行有界。
• 将所得结果应用于推导通过截断法估计可带状相关矩阵的极小极大最优收敛速率，以及稀疏 PCA 的收敛速率。

实验结果

研究问题

• RQ1 在高维设置下，非参数相关矩阵估计量的估计误差谱范数行为如何？
• RQ2 Kendall’s tau 和 Spearman’s rho 等非参数估计量的谱误差能否以一种与已知样本相关矩阵（oracle）性能相当的方式进行有界？
• RQ3 使用非参数估计量估计高维可带状相关矩阵的极小极大最优速率是什么？
• RQ4 所提出的非参数估计量能否在稀疏主成分分析（PCA）中实现最优收敛速率？
• RQ5 高斯拷贝模型在基于潜变量假设分析非参数相关估计量中起到何种作用？

主要发现

• Kendall’s tau 和 Spearman’s rho 估计量的期望谱误差均被有界于 $O\left(\frac{\|\boldsymbol{\Sigma}\|_F^2}{n}\right)$，其中两个估计量的常数均满足 $C_1 \leq 2$。
• 为所有 $s \times s$ 子矩阵的最大谱误差建立了通用的大偏差界限，表明 $\mathbb{P}\left(\|\boldsymbol{\Delta}^{(1)}\|_S > t\right) \leq 4d^2 e^{-t}$，其中 $t = s(2\log 2d + t)$。
• 在已知误差界限下，非参数估计量的谱误差与已知样本相关矩阵 $\widetilde{\boldsymbol{\Sigma}}^s$ 的谱误差处于同一量级。
• 对于可带状相关矩阵，对非参数估计量进行截断可实现谱范数下的极小极大最优收敛速率。
• 在适当的稀疏性假设下，通过非参数估计量在稀疏 PCA 中建立了最优收敛速率，误差量级为 $O(\sqrt{s \log d / n})$。
• 对 Kendall’s tau 和 Spearman’s rho 进行正弦变换，能够足够好地保持谱结构，从而在高维模型中实现最优估计。