[论文解读] Multiple Changepoint Estimation in High-Dimensional Gaussian Graphical Models

Alex Gibberd, Sandipan Roy|arXiv (Cornell University)|Dec 15, 2017

Statistical Methods and Inference参考文献 33被引用 12

一句话总结

该论文提出了组融合图行lasso（GFGL），用于在分段常数高斯图模型下，联合估计高维时间序列数据中的多个结构变化点和图依赖结构。在高维渐近条件下，该方法建立了对结构变化点检测和精度矩阵恢复的理论一致性，证明了当最小段长随样本量增长时，该估计器能一致地识别出结构变化点位置和各段特定的网络结构。

ABSTRACT

We consider the consistency properties of a regularised estimator for the simultaneous identification of both changepoints and graphical dependency structure in multivariate time-series. Traditionally, estimation of Gaussian Graphical Models (GGM) is performed in an i.i.d setting. More recently, such models have been extended to allow for changes in the distribution, but only where changepoints are known a-priori. In this work, we study the Group-Fused Graphical Lasso (GFGL) which penalises partial-correlations with an L1 penalty while simultaneously inducing block-wise smoothness over time to detect multiple changepoints. We present a proof of consistency for the estimator, both in terms of changepoints, and the structure of the graphical models in each segment.

研究动机与目标

• 填补高维图模型中结构变化点未知、需与网络结构联合估计的空白。
• 开发一种正则化估计器，可同时检测多个结构变化点并恢复各段的精度矩阵。
• 在高维渐近条件下，建立估计器在结构变化点定位和图模型恢复两方面的理论一致性。
• 将现有假设结构变化点已知或数据独立同分布的方法扩展至动态、分段平稳的多元高斯过程。

提出的方法

• 组融合图行lasso（GFGL）对偏相关系数施加L1惩罚，并在时间上施加融合lasso惩罚，以在时间上诱导精度矩阵的块状平滑性。
• 该方法通过正则化形式化联合优化问题，同时估计结构变化点位置和各段的精度矩阵。
• 它利用图行lasso在各段内实现稀疏精度矩阵估计，同时利用融合lasso促进相邻段之间的时序同质性。
• 理论分析依赖于使用浓度不等式和高维随机矩阵的最大偏差界，对估计精度矩阵中的抽样误差进行有界。
• 一致性证明考虑了估计段长大于或小于最小段长 $ d_{\min} $ 的两种情况，通过最坏情况的块配置来界定误差。
• 分析表明，误差控制的有效样本量受 $ d_{\min} $ 限制，即使段长较短，也能确保一致性。

实验结果

研究问题

• RQ1 是否存在一种正则化估计器，能在高维时间序列数据中一致地检测出随时间变化的多个结构变化点？
• RQ2 通过GFGL联合估计结构变化点和精度矩阵，是否能在结构变化点定位和图结构恢复两方面均实现一致性？
• RQ3 最小段长 $ d_{\min} $ 在高维设置下如何影响估计器的一致性？
• RQ4 在小段或重叠段中，抽样误差对结构变化点和网络结构估计准确性有何影响？
• RQ5 能否推导出随维度 $ p $、样本量 $ T $ 和段长合理缩放的估计误差理论界？

主要发现

• 当最小段长 $ d_{\min} $ 随样本量增长时，GFGL估计器在结构变化点检测上具有一致性，确保结构断裂点的可靠定位。
• 估计器在各段中实现了精度矩阵的一致恢复，误差界缩放为 $ O(\sqrt{\log p / n_{\text{eff}}}) $，其中 $ n_{\text{eff}} \geq d_{\min} $。
• 对一个块的抽样误差以 $ \max\{\hat{n}_k, d_{\min}\} \|W_{\infty}^{(d_{\min}/2)}\|_{\infty} $ 几乎必然有界，确保在高维情形下的稳定性。
• 重叠块的最坏情况误差出现在段长近似相等时，且在 $ n_1 = n_2 = |\hat{\tau}_k - \hat{\tau}_{k-1}|/2 $ 处达到最大值，该值受 $ d_{\min} $ 限制。
• 对于短于 $ d_{\min} $ 的段，有效样本量被限制在 $ d_{\min} $，且在高概率浓度下误差界依然有效。
• 理论分析证实，只要 $ d_{\min} \to \infty $ 随 $ T \to \infty $，即使段数增加，估计器仍能保持一致性。