[论文解读] Optimal Change-Point Detection and Localization

Nicolas Verzélen, Magalie Fromont+2 more|arXiv (Cornell University)|Oct 22, 2020

Statistical Methods and Inference被引用 8

一句话总结

本文为具有独立子高斯噪声的分段常数均值模型中的变化点，建立了最优的检测与定位速率。提出了一种新颖的能量阈值框架，证明当能量超过 √(2 log log n) 时，检测变为纯粹参数化；并提出了两种方法——带惩罚的多尺度最小二乘法与两步后处理方法，均实现了最优速率，计算复杂度为 O(n log n)。

ABSTRACT

Given a times series ${\bf Y}$ in $\mathbb{R}^n$, with a piece-wise contant mean and independent components, the twin problems of change-point detection and change-point localization respectively amount to detecting the existence of times where the mean varies and estimating the positions of those change-points. In this work, we tightly characterize optimal rates for both problems and uncover the phase transition phenomenon from a global testing problem to a local estimation problem. Introducing a suitable definition of the energy of a change-point, we first establish in the single change-point setting that the optimal detection threshold is $\sqrt{2\log\log(n)}$. When the energy is just above the detection threshold, then the problem of localizing the change-point becomes purely parametric: it only depends on the difference in means and not on the position of the change-point anymore. Interestingly, for most change-point positions, it is possible to detect and localize them at a much smaller energy level. In the multiple change-point setting, we establish the energy detection threshold and show similarly that the optimal localization error of a specific change-point becomes purely parametric. Along the way, tight optimal rates for Hausdorff and $l_1$ estimation losses of the vector of all change-points positions are also established. Two procedures achieving these optimal rates are introduced. The first one is a least-squares estimator with a new multiscale penalty that favours well spread change-points. The second one is a two-step multiscale post-processing procedure whose computational complexity can be as low as $O(n\log(n))$. Notably, these two procedures accommodate with the presence of possibly many low-energy and therefore undetectable change-points and are still able to detect and localize high-energy change-points even with the presence of those nuisance parameters.

研究动机与目标

• 表征具有子高斯噪声的分段常数均值模型中变化点的最优检测与定位速率。
• 识别从全局检测到局部估计的相变行为，特别是当变化点能量超过临界阈值时的情况。
• 开发在存在大量低能量、不可检测变化点时仍能保持最优性能的程序。
• 为变化点位置的 Hausdorff 与 l1 估计损失建立紧致的极小极大速率。
• 设计计算高效的算法，在无需事先知道变化点数量的前提下实现最优速率。

提出的方法

• 基于均值差的平方与区间长度，引入变化点能量的定义，实现对检测阈值的精确刻画。
• 在单个变化点设定下，推导出最优检测阈值为 √(2 log log n)，并证明当超过该阈值时，定位变为纯粹参数化。
• 提出一种带新颖惩罚项的多尺度最小二乘估计器，该惩罚项有利于分离良好的变化点，确保最优估计速率。
• 开发一种两步多尺度后处理程序，实现最优速率，且计算复杂度低至 O(n log n)。
• 使用覆盖论证与度量熵界，控制多尺度搜索空间的复杂性，特别是针对变化点三元组 (t1, t2, t3)。
• 应用浓度不等式与子高斯尾部界，控制检验统计量的偏差，确保在参数空间上具有高概率的一致控制。

实验结果

研究问题

• RQ1 在具有子高斯噪声的分段常数均值模型中，单个变化点的最优检测阈值是什么？
• RQ2 变化点的定位误差如何依赖于其能量与时间序列中的位置？
• RQ3 在变化点分析中，全局检测与局部估计之间的相变行为是怎样的？
• RQ4 能否设计一种程序，在保持计算高效的同时，实现检测与定位的最优估计速率？
• RQ5 Hausdorff 与 l1 估计损失的最优速率如何随样本大小与变化点数量变化？

主要发现

• 单个变化点的最优检测阈值为 √(2 log log n)，低于此阈值时，任何方法都无法可靠检测到变化点。
• 当变化点的能量超过该阈值时，定位变为纯粹参数化——仅依赖于均值差，而与变化点的位置无关。
• 对于大多数变化点位置（端点附近除外），检测与定位可在远低于全局阈值的能量水平下实现。
• 在多变化点设定下，最优检测阈值被表征，且当超过该阈值时，单个变化点的定位误差变为纯粹参数化。
• 所提出的带定制惩罚项的多尺度最小二乘估计器，对 Hausdorff 与 l1 估计损失均实现了最优速率。
• 两步后处理程序实现了最优速率，计算复杂度低至 O(n log n)，使其适用于大规模数据集。