[论文解读] Sparse transition matrix estimation for high-dimensional and locally stationary vector autoregressive models

Xin Ding, Ziyi Qiu+1 more|arXiv (Cornell University)|Apr 14, 2016

Sparse and Compressive Sensing Techniques参考文献 34被引用 4

一句话总结

本文提出一种混合核平滑与ℓ¹-正则化方法，用于估计高维、局部平稳向量自回归（TV-VAR）模型中的时变转移矩阵。该方法建立了最优收敛速率，并证明了在弱信号条件下，模式恢复的假阳性率和假阴性率均渐近趋于零，且无需最小信号强度条件。

ABSTRACT

We consider the estimation of the transition matrix in the high-dimensional time-varying vector autoregression (TV-VAR) models. Our model builds on a general class of locally stationary VAR processes that evolve smoothly in time. We propose a hybridized kernel smoothing and $\ell^1$-regularized method to directly estimate the sequence of time-varying transition matrices. Under the sparsity assumption on the transition matrix, we establish the rate of convergence of the proposed estimator and show that the convergence rate depends on the smoothness of the locally stationary VAR processes only through the smoothness of the transition matrix function. In addition, for our estimator followed by thresholding, we prove that the false positive rate (type I error) and false negative rate (type II error) in the pattern recovery can asymptotically vanish in the presence of weak signals without assuming the minimum nonzero signal strength condition. Favorable finite sample performances over the $\ell^2$-penalized least-squares estimator and the unstructured maximum likelihood estimator are shown on simulated data. We also provide two real examples on estimating the dependence structures on financial stock prices and economic exchange rates datasets.

研究动机与目标

• 通过建模时变转移矩阵，解决经典VAR模型在高维非平稳时间序列中的局限性。
• 通过在转移矩阵上施加稀疏性与平滑性，克服高维VAR模型中的维数灾难问题。
• 开发一种方法，确保在不依赖强信号强度条件的前提下，对时变依赖结构进行一致估计。
• 在弱信号条件下，实现图模式恢复中假阳性率与假阴性率的渐近消失。
• 为高维、局部平稳VAR过程的估计与结构学习提供统一框架。

提出的方法

• 在每个时间点 $ t = i/n $ 处，利用局部平稳性通过核平滑估计时变转移矩阵函数 $ A(t) $。
• 对 $ A_i $ 的最小二乘估计施加ℓ¹-正则化，以在转移矩阵中引入稀疏性。
• 将估计问题形式化为带惩罚的优化问题：$ \hat{A}_i = \arg\min_{A} \| \mathbf{X}_i - A \mathbf{X}_{i-1} \|_F^2 + \lambda \| A \|_1 $，并采用时间特定的调参。
• 将核权重整合进损失函数，以实现时序上估计矩阵序列的平滑化。
• 对最终估计器施加阈值处理，以恢复时变依赖网络的图结构。
• 在稀疏性与平滑性假设下，通过浓度不等式与矩阵范数界建立理论保证。

实验结果

研究问题

• RQ1 在稀疏条件下，能否在局部平稳TV-VAR模型中一致估计高维时变转移矩阵？
• RQ2 所提估计器的最优收敛速率是什么？其如何依赖于转移矩阵函数的平滑性？
• RQ3 该方法是否可在不假设最小非零信号强度的前提下，实现模式恢复中假阳性率与假阴性率的渐近消失？
• RQ4 在有限样本中，该混合核-ℓ¹方法与标准ℓ²-惩罚最小二乘法及无结构MLE估计器相比表现如何？
• RQ5 该方法能否有效恢复真实金融与经济时间序列中的时变依赖结构？

主要发现

• 所提估计器的收敛速率仅依赖于转移矩阵函数的平滑性，而不依赖于过程的维度。
• 即使在信号较弱时，模式恢复中的假阳性率（FPR）与假阴性率（FNR）也渐近趋于零，且无需最小信号强度条件。
• 在有限样本中，该方法在估计误差与结构恢复方面均优于ℓ²-惩罚最小二乘法与无结构MLE估计器。
• 对于阈值化估计器，FNR被界于 $ 2^\beta L_d u_{\sharp}^\beta $ 之内，当 $ u_{\sharp} \to 0 $ 时该界趋于零，前提是满足适当的平滑性与稀疏性条件。
• 理论分析证实，当真实转移矩阵属于稀疏平滑类 $ \mathcal{G}_\alpha(s, M_d) $ 时，估计器保持一致性。
• 基于股票价格与汇率的真实数据实证结果证实，该方法能够有效恢复现实高维数据中具有实际意义的时变依赖结构。