[论文解读] Narrowest-Over-Threshold Detection of Multiple Change-points and Change-point-like Features

Rafał Baranowski, Yining Chen+1 more|arXiv (Cornell University)|Sep 1, 2016

Statistical Methods and Inference参考文献 52被引用 138

一句话总结

本文提出了一种非参数检测多个广义变点（如跳跃、拐点或方差突变）的窄阈值法（Narrowest-Over-Threshold, NOT），适用于分段常数或分段线性信号。通过聚焦于在阈值之上可检测到特征的最窄数据子样本，NOT 避免了因特征重叠导致的虚假检测，实现了近似最优的检测性能，计算成本接近线性，且在不同信号模型下具有高度灵活性。

ABSTRACT

We propose a new, generic and flexible methodology for nonparametric function estimation, in which we first estimate the number and locations of any features that may be present in the function, and then estimate the function parametrically between each pair of neighbouring detected features. Examples of features handled by our methodology include change-points in the piecewise-constant signal model, kinks in the piecewise-linear signal model, and other similar irregularities, which we also refer to as generalised change-points. Our methodology works with only minor modifications across a range of generalised change-point scenarios, and we achieve such a high degree of generality by proposing and using a new multiple generalised change-point detection device, termed Narrowest-Over-Threshold (NOT). The key ingredient of NOT is its focus on the smallest local sections of the data on which the existence of a feature is suspected. Crucially, this adaptive localisation technique prevents NOT from considering subsamples containing two or more features, a key factor that ensures the general applicability of NOT. For selected scenarios, we show the consistency and near-optimality of NOT in detecting the number and locations of generalised change-points. Furthermore, we propose to select NOT's threshold (automatically) via the strengthened Schwarz Information Criterion (sSIC) and give theoretical justifications. The NOT estimators are easy to implement and rapid to compute: the entire threshold-indexed solution path can be computed in close-to-linear time. Importantly, the NOT approach is easy to extend by the user to tailor to their own needs. There is no single competitor, but we show that the performance of NOT matches or surpasses the state of the art in the scenarios tested. Our methodology is implemented in the R package extbf{not}.

研究动机与目标

• 开发一种通用、灵活且计算高效的检测方法，用于识别非参数信号中未知数量的特征（如变点、拐点或方差突变）。
• 解决在分段常数或分段线性模型中检测多个特征的挑战，而无需假设连续性或特定的噪声分布。
• 通过聚焦于特征可疑的最窄子样本，最小化单个区间内多个特征的相互干扰，从而确保高检测准确率。
• 为各种信号模型下特征位置估计提供理论一致性和近似最优性保证。
• 在检测到的特征之间实现参数化、可解释的信号估计，提升下游结果的可解释性。

提出的方法

• 提出窄阈值检测装置（Narrowest-Over-Threshold, NOT），即在所有对比统计量超过用户定义阈值的子样本中，选择区间长度最小（即 e−s 最小）的数据区间。
• 使用基于似然理论推导出的通用对比函数，检测每个子样本中的特征，其形式根据所假设的信号模型（如分段常数、分段线性）进行调整。
• 应用强化的施瓦茨信息准则（sSIC）选择最优阈值，确保特征数量和位置估计的一致性。
• 采用递归分割策略：检测到一个特征后，算法独立地在左右两个区间继续处理，直到没有更多特征超过阈值为止。
• 在接近线性时间 O(MT) 内计算完整的阈值索引解路径，其中 M 为抽取的子样本数量，通常 M=O(log T)。
• 允许用户通过修改对比函数和阈值策略，对自定义特征类型或噪声模型进行扩展。

实验结果

研究问题

• RQ1 是否存在一种单一检测框架，能够在包括跳跃、拐点和方差突变在内的多种信号模型中，一致地识别多个广义变点？
• RQ2 聚焦于特征可检测到的最窄子样本，是否能提高检测准确率，并防止因特征重叠导致的假阳性？
• RQ3 检测多个特征的计算复杂度是多少？是否可使计算复杂度接近样本量 T 的线性关系？
• RQ4 阈值的选择如何影响特征数量和位置估计的一致性？
• RQ5 该方法在各种模型下能否实现特征位置估计的近似最优收敛速率？

主要发现

• NOT 方法在所假设模型下，实现了对广义变点数量和位置估计的一致性，满足当 T → ∞ 时 P(ˆq = q) → 1。
• 估计的特征位置以 O(√T log T) 的速率收敛至真实位置，且 |ˆτj − τj| ≤ C√T log T 在概率趋于 1 时成立。
• 该方法在特征检测中实现了近似最优性，其性能在测试场景中达到或超越现有最先进方法。
• 整个解路径可在接近线性时间 O(MT) 内计算完成，通常 M = O(log T) 个子样本已足够。
• 为使用强化施瓦茨信息准则（sSIC）选择阈值提供了理论依据，确保了一致性。
• 在噪声弱依赖条件下，方法依然稳健，如推论 1 所示，当创新项具有有界自协方差时，误差界依然成立。