[论文解读] On the statistical inference for large precision matrices with dependent data

Jinyuan Chang, Yumou Qiu+1 more|arXiv (Cornell University)|Mar 22, 2016

Statistical Methods and Bayesian Inference参考文献 2被引用 3

一句话总结

本文提出了一种数据驱动的方法，用于在依赖时间序列数据下构建超高维精度矩阵元素的渐近有效置信区域。通过结合惩罚节点回归与核型长期协方差估计器，该方法在不依赖平稳性或协方差结构的强结构假设下，实现了统一的覆盖有效性。

ABSTRACT

Precision matrices play important roles in many statistical applications. We consider the statistical inference for precision matrices with ultra high-dimensional time dependent observations. More specifically, let $\boldsymbol{\Omega}$ be the precision matrix and $\mathcal{S}$ be a given index set of interest. We propose a data-driven procedure to construct a class of confidence regions $\mathcal{C}_{\mathcal{S},\alpha}$ for $\boldsymbol{\Omega}_{\mathcal{S}}$ such that $\sup_{0<\alpha<1} |\mathbb{P}(\boldsymbol{\Omega}_{\mathcal{S}}\in\mathcal{C}_{\mathcal{S},\alpha})-\alpha| ightarrow0$ as $n ightarrow\infty$, where $\boldsymbol{\Omega}_{\mathcal{S}}$ is a vector whose components are the elements of $\boldsymbol{\Omega}$ indexed by $\mathcal{S}$. The proposed procedure includes two steps. We first derive an estimator $\widehat{\boldsymbol{\Omega}}_{\mathcal{S}}$ for $\boldsymbol{\Omega}_{\mathcal{S}}$ via penalized node-wise regressions, and then approximate the distribution of $n^{1/2}|\widehat{\boldsymbol{\Omega}}_{\mathcal{S}}-\boldsymbol{\Omega}_{\mathcal{S}}|_\infty$ by that of the $l_\infty$-norm of an ultra high-dimensional Gaussian random vector with mean zero and covariance formulated as an estimate for the long-run covariance of an unobservable process. Our analysis shows that the kernel-type estimator initially suggested by Andrews (1991) for the fixed dimensional long-run covariance can be also employed in the proposed procedure for the ultra high-dimensional scenario without imposing any additional stringent structural assumptions on the long-run covariance. Owing to the form of the kernel-type estimator, we develop a computationally feasible algorithm to implement the proposed procedure. Theoretical analysis shows the proposed procedure works well even without imposing the stationary assumption on the data.

研究动机与目标

• 开发一种在观测数据为超高维且随时间依赖时的精度矩阵统计推断程序。
• 为精度矩阵条目中指定的子集构建保持渐近覆盖有效性的置信区域。
• 避免对长期协方差矩阵施加如平稳性或特定稀疏结构等限制性假设。
• 在弱依赖的高维时间序列设定下，实现计算上可行的推断。

提出的方法

• 通过惩罚节点回归估计感兴趣的精度矩阵条目，以获得一致估计量 $ω’_{\mathcal{S}}$。
• 利用高维高斯向量的 $l_\infty$-范数，近似估计误差 $n^{1/2}|\widehat{\boldsymbol{\Omega}}_{\mathcal{S}} - \boldsymbol{\Omega}_{\mathcal{S}}|_\infty$ 的分布。
• 采用源自 Andrews (1991) 的核型估计器，对不可观测过程的长期协方差进行估计，以建模渐近分布。
• 在不施加长期协方差的附加结构约束下使用核估计器，从而增强方法的稳健性。
• 开发一种计算高效的算法，利用核估计器的特定形式，使超高维情况下的推断成为可能。

实验结果

研究问题

• RQ1 当数据依赖且为超高维时，能否为高维精度矩阵条目构建有效的置信区域？
• RQ2 即使不假设底层时间序列的平稳性，所提出的方法是否仍能随样本量增加保持统一的覆盖概率？
• RQ3 Andrews (1991) 的核型长期协方差估计器能否在无需额外假设的情况下有效扩展至超高维设定？
• RQ4 在高维时间序列中，估计误差的渐近分布如何被一致近似？

主要发现

• 所提出的置信区域实现了统一覆盖有效性：当 $n \to \infty$ 时，$\sup_{0<\alpha<1} |\mathbb{P}(\boldsymbol{\Omega}_{\mathcal{S}} \in \mathcal{C}_{\mathcal{S},\alpha}) - \alpha| \to 0$。
• 该方法在不假设底层时间序列平稳性的前提下依然有效，从而扩大了其适用范围。
• 核型长期协方差估计器可直接应用于超高维设定，无需额外的结构假设。
• 由于核估计器的特定结构，该方法在计算上是可行的，使得在高维情形下的实现成为可能。