[论文解读] Strong Consistency of Multivariate Spectral Variance Estimators

Dootika Vats, James M. Flegal+1 more|arXiv (Cornell University)|Jul 29, 2015

Markov Chains and Monte Carlo Methods参考文献 62被引用 6

一句话总结

本文在一般条件下（包括多项式遍历性和矩限制）建立了马尔可夫链中心极限定理中多变量谱方差估计量（MSVEs）对渐近协方差矩阵的强一致性。证明了MSVEs及其特征值几乎必然收敛到真实协方差矩阵，为MCMC模拟中的蒙特卡洛误差估计提供了严格的多变量框架，且无需假设可逆性。

ABSTRACT

Markov chain Monte Carlo (MCMC) algorithms are used to estimate features of interest of a distribution. The Monte Carlo error in estimation has an asymptotic normal distribution whose multivariate nature has so far been ignored in the MCMC community. We present a class of multivariate spectral variance estimators for the asymptotic covariance matrix in the Markov chain central limit theorem and provide conditions for strong consistency. We examine the finite sample properties of the multivariate spectral variance estimators and its eigenvalues in the context of a vector autoregressive process of order 1.

研究动机与目标

• 为解决MCMC蒙特卡洛误差估计中缺乏多变量处理的问题，该问题在很大程度上集中于单变量推断。
• 为马尔可夫链中心极限定理中的渐近协方差矩阵开发一类多变量谱方差估计量（MSVEs）。
• 建立MSVEs作为真实渐近协方差矩阵强一致估计量的条件。
• 将单变量强一致性结果推广到多变量情形，并在更弱的假设下进行，包括非可逆链。
• 证明MSVE的特征值也强一致地估计真实渐近协方差矩阵的特征值，从而实现对蒙特卡洛误差结构的可靠推断。

提出的方法

• 基于马尔可夫链增量过程的谱密度估计，提出一类多变量谱方差估计量（MSVEs）。
• 采用多变量强不变性原理（SIP），将马尔可夫链的偏和过程与带随机误差项的布朗运动联系起来。
• 通过使用序列块大小 $ b_n $ 和权重 $ w_n(k) $ 的加权块平均方案来构建MSVE。
• 在矩条件和混合条件下应用Kuelbs-Philipp强不变性原理，推导估计误差的收敛速率。
• 对混合系数和矩动量施加条件，具体为 $ \mathbb{E}_F\|g\|^{4+\delta} < \infty $ 和阶数为 $ \xi \geq (1+\epsilon)(1+2/\delta) $ 的多项式遍历性，以确保强一致性。
• 通过将估计误差分解为九个部分，证明每个部分在 $ n \to \infty $ 时几乎必然收敛于零。

实验结果

研究问题

• RQ1 能否证明多变量谱方差估计量在多变量马尔可夫链中心极限定理中对渐近协方差矩阵具有强一致性？
• RQ2 MSVEs的强一致性是否在弱于先前单变量结果的条件下成立，特别是不假设可逆性？
• RQ3 MSVE的特征值是否也是真实渐近协方差矩阵特征值的强一致估计量？
• RQ4 在多项式遍历性和矩条件下的MSVE收敛速率能否被刻画？
• RQ5 MSVEs与现有单变量估计量相比，在理论稳健性和普适性方面表现如何？

主要发现

• 多变量谱方差估计量 $ \widehat{\Sigma}_{S} $ 对于渐近协方差矩阵 $ \Sigma $ 是强一致的，即当 $ n \to \infty $ 时，$ \widehat{\Sigma}_{S} \to \Sigma $ 几乎必然成立。
• MSVE的特征值也是 $ \Sigma $ 的特征值的强一致估计量，确保对变异-协方差结构的可靠推断。
• 在条件 $ \mathbb{E}_F\|g\|^{4+\delta} < \infty $ 和马尔可夫链为阶数 $ \xi \geq (1+\epsilon)(1+2/\delta) $ 的多项式遍历性（对某个 $ \epsilon > 0 $）下，强一致性成立。
• 证明表明，$ |\widehat{\Sigma}_{ij} - \Sigma_{ij}| $ 的分解中所有九个误差项均几乎必然收敛于零，从而确认了整体的一致性。
• 结果将先前的单变量强一致性结果（如Atchadé, 2011；Flegal和Jones, 2010）推广到更弱假设下的多变量情形，包括非可逆链。
• 该方法在不依赖Geyer（1992）和Kosorok（2000）早期工作中使用的可逆性假设的情况下实现了强一致性，从而扩大了适用范围。