[论文解读] Statistically and Computationally Efficient Change Point Localization in Regression Settings

Daren Wang, Zhao, Zifeng+2 more|arXiv (Cornell University)|Jun 26, 2019

Statistical Methods and Inference参考文献 45被引用 23

一句话总结

该论文提出方差投影野蛮二分法（VPWBS），一种基于投影的方法，通过最优方向估计将高维回归变点检测问题转化为一维均值变点检测。VPWBS 在高维设置下实现了 $O_p(1/n)$ 的极小化最大最优定位速率（对数因子内），显著优于先前最佳速率 $O_p(1/\sqrt{n})$。

ABSTRACT

Detecting when the underlying distribution changes for the observed time series is a fundamental problem arising in a broad spectrum of applications. In this paper, we study multiple change-point localization in the high-dimensional regression setting, which is particularly challenging as no direct observations of the parameter of interest is available. Specifically, we assume we observe $\{ x_t, y_t\}_{t=1}^n$ where $ \{ x_t\}_{t=1}^n $ are $p$-dimensional covariates, $\{y_t\}_{t=1}^n$ are the univariate responses satisfying $\mathbb{E}(y_t) = x_t^ op β_t^* ext{ for } 1\le t \le n $ and $\{β_t^*\}_{t=1}^n $ are the unobserved regression coefficients that change over time in a piecewise constant manner. We propose a novel projection-based algorithm, Variance Projected Wild Binary Segmentation~(VPWBS), which transforms the original (difficult) problem of change-point detection in $p$-dimensional regression to a simpler problem of change-point detection in mean of a one-dimensional time series. VPWBS is shown to achieve sharp localization rate $O_p(1/n)$ up to a log factor, a significant improvement from the best rate $O_p(1/\sqrt{n})$ known in the existing literature for multiple change-point localization in high-dimensional regression. Extensive numerical experiments are conducted to demonstrate the robust and favorable performance of VPWBS over two state-of-the-art algorithms, especially when the size of change in the regression coefficients $\{β_t^*\}_{t=1}^n $ is small.

研究动机与目标

• 解决高维回归中真实回归系数 $\beta_t^*$ 未观测且随时间呈分段常数变化的多变点定位挑战。
• 开发一种在高维回归模型结构变化检测中兼具统计最优性与计算效率的方法。
• 通过使用估计的最优方向将问题投影到一维空间，降低高维变点检测的复杂度。
• 在高维与非渐近设置下，建立定位速率的理论保证。
• 展示 VPWBS 相较于现有方法的优越经验性能，尤其是在变点大小较小时。

提出的方法

• VPWBS 使用基于方差的投影来估计一个最优的一维方向，以最大化变点检测的信噪比。
• 该方法在随机区间上应用野蛮二分法，利用投影后的一维时间序列的 CUSUM 统计量检测变点。
• 通过在全数据上使用组 Lasso 获得投影方向的初始估计，确保在高维下的稀疏性与稳定性。
• 算法通过在投影均值中测试变化来迭代分割时间序列，使用基于重抽样的阈值化程序控制假阳性率。
• 理论分析表明，投影后的一维问题继承了原始高维模型的统计特性，从而实现精确的定位。
• 通过将随机区间的数量限制在 $M = (\log n)^2$，实现计算效率，将整体复杂度降低至 $O(n(\log n)^2 \cdot \text{GroupLasso}(n,p))$。

实验结果

研究问题

• RQ1 基于投影的方法是否能在高维回归变点检测中实现 $O_p(1/n)$ 的极小化最大最优定位速率？
• RQ2 与 EBSA 和 WBSSGL 等最先进方法相比，VPWBS 在定位精度与计算成本方面表现如何？
• RQ3 当 $\beta_t^*$ 的变点大小较小时，VPWBS 的性能是否仍保持稳健？这一情形下现有方法往往表现不佳。
• RQ4 维度 $p$ 与样本量 $n$ 对 VPWBS 的计算可扩展性与统计准确性有何影响？
• RQ5 该投影框架能否推广至其他结构化变点问题，如协方差或张量模型？

主要发现

• VPWBS 在高维回归中实现了 $O_p(1/n)$ 的极小化最大最优定位速率（对数因子内），相比先前最佳速率 $O_p(1/\sqrt{n})$ 有显著提升。
• 在模拟实验中，VPWBS 始终优于 EBSA 和 WBSSGL，尤其在变点大小 $\kappa$ 较小时，所有设置下均表现出更低的归一化 Hausdorff 距离。
• VPWBS 的平均执行时间随 $n$ 和 $p$ 线性增长，展现出良好的可扩展性；而 WBSSGL 的计算成本随 $n$ 增长过快，因其复杂度为 $O(\text{Lasso}(n, np))$。
• 在高维设置下 $p = 120$ 时，VPWBS 仍保持高精度，且在所有方法中实现了最低的平均归一化 Hausdorff 距离。
• 该方法在多种模拟设置下表现稳健，包括不同的样本量 $n$、维度 $p$、稀疏度 $s$ 和变点大小 $\kappa$，且在所有情形下均一致优于竞争方法。
• 理论分析证实，基于投影的变换保留了变点检测的统计功效，使在弱信号条件下也能实现精确定位。