[论文解读] Optimal Covariance Change Point Localization in High Dimension

Daren Wang, Yi Yu+1 more|arXiv (Cornell University)|Dec 28, 2017

Statistical Methods and Inference参考文献 39被引用 25

一句话总结

本文提出了一种针对高维协方差矩阵中变化点的检测与定位的极小极大最优框架，采用两种算法：基于算子范数的二分法（BSOP）和通过独立投影实现的野生二分法（WBSIP）。WBSIP 在对数因子范围内实现了极小极大最优定位速率，基于信噪比、维度和变化点间距，建立了检测问题的相变行为。

ABSTRACT

We study the problem of change point detection for covariance matrices in high dimensions. We assume that we observe a sequence {X_i}_{i=1,...,n} of independent and centered p-dimensional sub-Gaussian random vectors whose covariance matrices are piecewise constant. Our task is to recover with high accuracy the number and locations of the change points, which are assumed unknown. Our generic model setting allows for all the model parameters to change with n, including the dimension p, the minimal spacing between consecutive change points, the magnitude of smallest change size and the maximal Orlicz- 2 norm of the covariance matrices of the sample points. Without assuming any additional structural assumption, such as low rank matrices or having sparse principle components, we set up a general framework and a benchmark result for the covariance change point detection problem. We introduce two procedures, one based on the binary segmentation algorithm (e.g. Vostrikova, 1981) and the other on its extension known as wild binary segmentation of Fryzlewicz (2014), and demonstrate that, under suitable conditions, both procedures are able to consistently es- timate the number and locations of change points. Our second algorithm, called Wild Binary Segmentation through Independent Projection (WBSIP), is shown to be optimal in the sense of allowing for the minimax scaling in all the relevant parameters. Our minimax analysis reveals a phase transition effect based on the problem of change point localization. To the best of our knowledge, this type of results has not been established elsewhere in the high-dimensional change point detection literature.

研究动机与目标

• 解决当维度数 $ p $、样本量 $ n $、最小间距 $ \Delta $ 和最小变化幅度 $ \kappa $ 均随 $ n $ 增长时，高维协方差矩阵中变化点检测与精确定位的挑战。
• 构建一种无需假设协方差矩阵具有低秩或稀疏结构的高维协方差变化点检测通用框架。
• 建立极小极大下界，并证明在弱次高斯假设下，WBSIP 能够实现接近极小极大的最优定位速率。
• 基于 $ \kappa/B^2 $、$ \Delta $、$ p $ 和 $ n $ 的相互作用，分析检测问题中的相变行为，其中 $ B $ 为协方差矩阵的 Orlicz-\psi_2 范数。

提出的方法

• 提出 BSOP，一种基于算子范数 CUSUM 统计量的二分法算法，适用于协方差变化检测。
• 引入 WBSIP，一种野生二分法的新型扩展，通过将高维数据投影到随机独立方向上来检测变化点。
• 利用独立投影解耦高维数据中的依赖性，从而获得更紧的集中不等式并提升检测功效。
• 基于样本协方差矩阵使用 CUSUM 类型检验统计量，检测随时间变化的协方差结构变化。
• 采用数据分割技术，确保投影方向与检验统计量之间的独立性，简化理论分析。
• 在次高斯假设下推导出变化点定位的非渐近风险界，明确其对 $ \kappa $、$ \Delta $、$ p $ 和 $ n $ 的依赖关系。

实验结果

研究问题

• RQ1 当 $ p $、$ \Delta $、$ \kappa $ 和 $ B $ 均随 $ n $ 增长时，高维设置下协方差变化点定位的极小极大收敛速率是什么？
• RQ2 通过独立投影实现的野生二分法（WBSIP）是否能在高维协方差变化点检测中实现极小极大最优定位速率？
• RQ3 信噪比 $ \kappa/B^2 $ 如何影响高维协方差矩阵中变化点的可检测性与定位精度？
• RQ4 基于 $ \kappa $、$ \Delta $、$ p $ 和 $ n $ 的相互作用，高维协方差变化点检测问题中会涌现出何种相变行为？
• RQ5 是否可能在不假设协方差矩阵具有低秩或稀疏结构的前提下，实现一致的变化点检测？

主要发现

• WBSIP 算法在 $ \kappa $、$ \Delta $、$ p $ 和 $ n $ 所有相关参数下，其定位速率在对数因子范围内达到极小极大最优。
• 检测问题中存在相变：仅当 $ \Delta \kappa^2 \gtrsim p \log n \cdot \sigma^4 $ 时，才能实现一致定位，其中 $ \sigma^2 $ 为方差代理参数。
• 定位误差的极小极大下界为 $ \Omega(\sigma^4 / \kappa^2) $，表明信噪比 $ \kappa/B^2 $ 是可检测性的关键决定因素。
• BSOP 能够实现变化点的一致估计，但其定位速率次优，尤其在 $ p $ 随 $ n $ 增长时更为明显，验证了标准二分法已知的局限性。
• 理论分析表明，问题的难度随维度 $ p $ 和 Orlicz-\psi_2 范数 $ B $ 增大而增加，随 $ \Delta $ 和 $ \kappa $ 增大而减小，且 $ \kappa/B^2 $ 作为有效信噪比起关键作用。
• 该框架对高维增长具有鲁棒性，且无需对协方差矩阵施加低秩或稀疏结构假设，因此具有广泛适用性。