[论文解读] Rates of convergence in conditional covariance matrix with nonparametric entries estimation

Jean–Michel Loubes, Clément Marteau+1 more|arXiv (Cornell University)|Oct 30, 2013

Random Matrices and Applications参考文献 32被引用 5

一句话总结

本文提出了一种基于核函数的插件估计器，用于估计条件协方差矩阵 $\text{Cov}(\bbE[\bX \typmid Y])$ 的非参数条目，该估计器依赖于 $(\bX, Y)$ 联合密度的光滑性假设。在正则性条件下，该估计器在 Frobenius 范数下实现了参数化收敛速率，并通过引入带状正则化结构，确保了在高维设置下 $p \to \infty$ 且 $p > n$ 时的一致性。

ABSTRACT

Let $X\\in \\mathbb{R}^p$ and $Y\\in \\mathbb{R}$ be two random variables. We estimate the conditional covariance matrix $\\mathrm{Cov}\\left(\\mathrm{E}\\left[\\boldsymbol{X}\\vert Y\ ight]\ ight)$ applying a plug-in kernel-based algorithm to its entries. Next, we investigate the estimators rate of convergence under smoothness hypotheses on the density function of $(\\boldsymbol{X},Y)$. In a high-dimensional context, we improve the consistency the whole matrix estimator by providing a decreasing structure over the $\\mathrm{Cov}\\left(\\mathrm{E}\\left[\\boldsymbol{X}\\vert Y\ ight]\ ight)$ entries. We illustrate a sliced inverse regression setting for time series matching the conditions of our estimator

研究动机与目标

• 当 $(\bX, Y)$ 的联合密度未知时，开发一个条件协方差矩阵 $\Sigma = \text{Cov}(\bbE[\bX \typmid Y])$ 的一致估计器。
• 在对 $(\bX, Y)$ 密度函数的光滑性假设下，建立估计器的收敛速率，特别关注条件期望 $\bbE[\bX \typmid Y]$。
• 通过在 $\Sigma$ 的条目上引入带状正则化结构，改善高维情形（$p \gg n$）下的一致性。
• 通过匹配模型条件的分片逆回归框架，展示估计器在时间序列设置中的适用性。
• 在正则性条件下，尽管条件均值采用非参数估计，仍实现矩阵估计器 Frobenius 范数的参数化收敛速率。

提出的方法

• 使用插件核函数算法，通过非参数条件均值估计来估计每个条目 $\sigma_{ij} = \text{Cov}(\bbE[X_i \typmid Y], \bbE[X_j \typmid Y])$。
• 对边际密度 $f_Y(y)$ 和条件期望 $\bbE[\bX \typmid Y]$ 应用核密度估计，将 $f_Y$ 视为干扰参数。
• 采用带状正则化技术（受 Bickel 和 Levina, 2008b 启发），在高维设置（$p > n$）中诱导稀疏性并提升一致性。
• 使用归一化的 Frobenius 范数衡量估计误差，以实现矩阵层面的风险评估。
• 通过将估计器的方差分解为若干分量，并利用对回归函数的 Hölder 光滑性（$\mathcal{H}(\beta, L)$）假设来界定每一项，推导收敛速率。
• 采用对 i.i.d. 样本的双重平均方法，并应用浓度不等式和对核函数的统一有界性，以控制随机波动。

实验结果

研究问题

• RQ1 在联合密度的光滑性假设下，条件协方差矩阵条目 $\sigma_{ij}$ 的非参数插件估计器的收敛速率是什么？
• RQ2 尽管条件均值采用非参数估计，全矩阵估计器 $\hat{\Sigma}$ 是否能在 Frobenius 范数下实现参数化收敛速率？
• RQ3 当 $p > n$ 时，如何缓解高维不一致性（如特征值扩散、缺乏一致性）？
• RQ4 在何种条件下，带状正则化能改善收敛速率并确保矩阵估计器的一致性？
• RQ5 在何种时间序列或依赖数据设置中，所提出的估计器仍保持有效性和一致性？

主要发现

• 在光滑性假设下（$f_Y \in \mathcal{H}(\beta, L)$，$\bbE[X_i \typmid Y] \in \mathcal{H}(\beta, L)$），估计器 $\hat{\sigma}_{ij}$ 实现了参数化收敛速率 $O_p(h^{2\beta} + n^{-1}h^{-1} \log^4 n)$，最优带宽为 $h \sim n^{-1/(2\beta+1)}$。
• 在正则性条件下，全矩阵估计器 $\hat{\Sigma}$ 的 Frobenius 范数风险以参数化速率 $O_p(n^{-1/2})$ 收敛，尽管条件均值采用非参数估计。
• 估计器的方差被界定为 $\text{Var}(\hat{\sigma}_{ij}) \leq C_1 h^{2\beta} + \frac{C_2 \log^4 n}{n^2 h^4} + \frac{1}{n}$，该表达式实现了偏差与方差之间的最优权衡。
• 带状正则化通过在条目上诱导递减结构，确保了在高维情形（$p \gg n$）下 $\hat{\Sigma}$ 的一致性，从而防止特征值扩散。
• 该估计器在半参数设置中依然高效，非参数估计边际密度 $f_Y$ 并未降低收敛速率。
• 在分片逆回归框架下，该方法适用于时间序列数据，如第 4 节所示，某些时间序列过程满足模型条件。