[论文解读] Structural Break Detection in High-Dimensional Non-Stationary VAR models

Abolfazl Safikhani, Ali Shojaie|arXiv (Cornell University)|Aug 9, 2017

Fault Detection and Control Systems参考文献 28被引用 3

一句话总结

本文提出了一种两阶段惩罚最小二乘法，结合总变差LASSO，用于在分段平稳性假设下检测高维非平稳向量自回归（VAR）模型中的结构突变。该方法通过结合变量选择与后向选择，有效纠正了LASSO惩罚带来的过度估计问题，即使突变点数量随样本量增长，也能一致地估计出突变点的数量和位置。

ABSTRACT

Assuming stationarity is unrealistic in many time series applications. A more realistic alternative is to allow for piecewise stationarity, where the model is allowed to change at given time points. In this article, the problem of detecting the change points in a high-dimensional piecewise vector autoregressive model (VAR) is considered. Reformulated the problem as a high-dimensional variable selection, a penalized least square estimation using total variation LASSO penalty is proposed for estimation of model parameters. It is shown that the developed method over-estimates the number of change points. A backward selection criterion is thus proposed in conjunction with the penalized least square estimator to tackle this issue. We prove that the proposed two-stage procedure consistently detects the number of change points and their locations. A block coordinate descent algorithm is developed for efficient computation of model parameters. The performance of the method is illustrated using several simulation scenarios.

研究动机与目标

• 为解决现有高维时间序列方法假设平稳性的局限性，该假设在真实世界应用（如EEG数据或金融时间序列）中往往不现实。
• 开发一种方法，用于检测高维分段平稳VAR模型中的多个结构突变，其中依赖结构在未知时间点发生变化。
• 确保在突变点数量随样本量增加时，对突变点数量和位置的估计具有一致性。
• 通过引入后向选择准则，克服LASSO倾向于过度估计突变点数量的倾向。

提出的方法

• 通过将转移矩阵建模为随时间分段常数，将结构突变检测问题重新表述为高维变量选择任务。
• 应用带有总变差LASSO惩罚的惩罚最小二乘估计器，以估计模型参数并检测突变点。
• 使用后向选择准则，纠正LASSO惩罚固有的突变点过度估计问题，提升选择的一致性。
• 开发了一种块坐标下降算法，以在高维设置下高效计算惩罚估计器。
• 对设计矩阵和误差结构施加正则性条件，以确保估计器的理论一致性。
• 采用信息准则（IC）选择最优突变点数量，平衡模型拟合与复杂度。

实验结果

研究问题

• RQ1 在分段平稳性假设下，是否可以一致估计具有多个结构突变的高维VAR模型？
• RQ2 使用总变差LASSO惩罚是否能一致检测出高维非平稳时间序列中突变点的数量和位置？
• RQ3 在具有多个突变的高维设置下，如何纠正LASSO对突变点的过度估计？
• RQ4 所提出的两阶段程序（LASSO + 后向选择）是否能一致估计结构突变的数量和位置？
• RQ5 该方法在样本量增加时，实现一致突变点检测的理论条件是什么？

主要发现

• 所提出的两阶段方法能一致估计突变点数量，随着样本量增加，该估计的概率趋于1。
• 该方法实现了对突变点位置的一致估计，估计值与真实突变点之间的最大偏差被控制在 $ n\gamma_n $ 以内。
• 后向选择准则成功纠正了LASSO惩罚导致的突变点过度估计问题，确保了选择的一致性。
• 理论分析表明，在正则性条件下，后向选择步骤中使用的信息准则能正确识别真实的突变点数量。
• 模拟结果证实，该方法能准确检测高维VAR模型中的多个突变点，即使维度和突变点数量不断增加。
• 块坐标下降算法使得惩罚估计器的计算高效，使该方法可扩展至高维时间序列。