[论文解读] Seeded Binary Segmentation: A general methodology for fast and optimal change point detection

Solt Kovács, Housen Li+2 more|arXiv (Cornell University)|Feb 16, 2020

Statistical Methods and Inference被引用 6

一句话总结

本文提出种子二元分割（seeded binary segmentation），一种用于快速且最优的变点检测的确定性方法，通过预计算的近线性方式构建背景区间（即种子区间）。该方法在不依赖变点数量的前提下，实现了接近线性的计算复杂度，同时保持了统计最优性，并在速度和鲁棒性方面优于随机区间方法（如野蛮二元分割）。

ABSTRACT

In recent years, there has been an increasing demand on efficient algorithms for large scale change point detection problems. To this end, we propose seeded binary segmentation, an approach relying on a deterministic construction of background intervals, called seeded intervals, in which single change points are searched. The final selection of change points based on the candidates from seeded intervals can be done in various ways, adapted to the problem at hand. Thus, seeded binary segmentation is easy to adapt to a wide range of change point detection problems, let that be univariate, multivariate or even high-dimensional. We consider the univariate Gaussian change in mean setup in detail. For this specific case we show that seeded binary segmentation leads to a near-linear time approach (i.e. linear up to a logarithmic factor) independent of the underlying number of change points. Furthermore, using appropriate selection methods, the methodology is shown to be asymptotically minimax optimal. While computationally more efficient, the finite sample estimation performance remains competitive compared to state of the art procedures. Moreover, we illustrate the methodology for high-dimensional settings with an inverse covariance change point detection problem where our proposal leads to massive computational gains while still exhibiting good statistical performance.

研究动机与目标

• 解决基于随机区间的传统方法（如野蛮二元分割）在变点数量增多时计算效率低下的问题。
• 开发一种野蛮二元分割的确定性替代方法，在保持统计效能的同时降低计算成本。
• 在单变量高斯分布均值变化问题中实现接近线性时间复杂度（O(T log T)），且不依赖于变点数量。
• 在单变量高斯设定下保持渐近最小最大最优性，同时实现向高维问题的可扩展性。
• 在高维设定中展示计算优势，例如在图形高斯模型中使用计算成本高昂的估计器（如图形Lasso）时。

提出的方法

• 基于衰减参数 a，使用系统化、预计算的方案构建一组确定性的背景区间（即种子区间）。
• 在每个种子区间内使用贪心算法搜索最优单个变点，生成候选变点集合。
• 使用模型选择准则（如信息准则）从候选集合中选择最终的变点，与野蛮二元分割类似。
• 确保所有种子区间的总长度为 O(T log T)，与变点数量较多时的野蛮二元分割（O(TM)）相比显著降低计算成本。
• 利用种子区间的结构，在高维设定中实现高效更新，例如在拟合图形Lasso估计器时。
• 采用递归划分策略，将每个种子区间在最显著的变点处分割，并以避免从头重新计算的方式更新区间。

实验结果

研究问题

• RQ1 能否通过确定性方式构建背景区间，在保持野蛮二元分割等随机区间方法的统计性能的同时，避免其计算低效？
• RQ2 种子二元分割在单变量高斯分布均值变化问题中是否保持渐近最小最大最优性？
• RQ3 该方法能否在高维问题（如检测高维高斯图形模型中的变化）中实现高效扩展？
• RQ4 与野蛮二元分割中随机区间的数量 M 相比，衰减参数 a 的选择对种子二元分割性能的影响如何？
• RQ5 在高维设定中使用昂贵估计器（如图形Lasso）时，使用种子区间能带来多大的计算增益？

主要发现

• 在单变量高斯分布均值变化问题中，种子二元分割的总计算成本为 O(T log T)，不依赖于变点数量，实现了接近线性的时间复杂度。
• 该方法在单变量高斯分布均值变化问题中具有渐近最小最大最优性，与估计误差的理论下界一致。
• 在模拟实验中，种子二元分割的默认配置在估计性能上几乎与表现最佳的野蛮二元分割设置相当，且对参数选择的鲁棒性显著提升。
• 在高维高斯图形模型中，种子二元分割将计算成本从野蛮二元分割的 O(TM p³) 降低至 O(T log T p³)，在最坏情况下 M 通常需达到 O(T²)。
• 该方法对区间构建中衰减参数 a 的选择表现出强鲁棒性，而野蛮二元分割则对随机区间数量 M 高度敏感。
• 在使用昂贵估计器（如图形Lasso）的高维设定中，种子区间使原本因计算负载过大而不可行的标准随机区间方法成为可行计算。