[论文解读] Off-line detection of multiple change points with the Filtered Derivative with p-Value method

Pierre R. Bertrand, Mehdi Fhima+1 more|arXiv (Cornell University)|Mar 22, 2010

Complex Systems and Time Series Analysis参考文献 23被引用 4

一句话总结

本文提出了一种基于p值的滤波导数（Filtered Derivative with p-Value, FDp-V）方法，用于在未知变化点数量的情况下，对时间序列进行离线多变化点检测。该方法结合了快速、线性复杂度的滤波导数与基于p值的误报剔除步骤，在保持高检测精度的同时，实现了O(n)的时间和内存复杂度，适用于模拟数据和真实数据（包括心电图和金融时间序列）。

ABSTRACT

This paper deals with off-line detection of change points for time series of independent observations, when the number of change points is unknown. We propose a sequential analysis like method with linear time and memory complexity. Our method is based at first step, on Filtered Derivative method which detects the right change points but also false ones. We improve Filtered Derivative method by adding a second step in which we compute the p-values associated to each potential change points. Then we eliminate as false alarms the points which have p-value smaller than a given critical level. Next, our method is compared with the Penalized Least Square Criterion procedure on simulated data sets. Eventually, we apply Filtered Derivative with p-Value method to segmentation of heartbeat time series, and detection of change points in the average daily volume of financial time series.

研究动机与目标

• 解决在变化点数量未知的情况下，对大规模时间序列进行多变化点检测的挑战。
• 克服传统方法（如惩罚最小二乘准则PLSC和动态规划）存在的O(n²)高计算复杂度问题。
• 开发一种适用于现代高频、大规模数据的线性时间与内存复杂度方法。
• 通过p值的统计显著性检验，降低变化点检测中的假阳性率。
• 在模拟数据和真实应用场景（如心率与金融时间序列分割）中验证该方法的有效性。

提出的方法

• 应用滤波导数方法以实现O(n)时间与内存复杂度的潜在变化点检测。
• 通过第二步计算每个检测到的潜在变化点在无变化原假设下的p值。
• 通过移除p值低于预设显著性水平的点，剔除误报。
• 利用强逼近理论与极值极限定理，推导检验统计量的渐近分布特性。
• 通过标准化滤波导数，确保不同数据段之间的稳定性与可比性。
• 将该方法应用于模拟数据与真实时间序列，并与惩罚最小二乘准则（PLSC）进行结果对比。

实验结果

研究问题

• RQ1 是否能够实现O(n)时间与内存复杂度，同时在大规模时间序列上保持高检测精度？
• RQ2 p值阈值化在减少滤波导数方法中假阳性方面的有效性如何？
• RQ3 在不同信噪比条件下，FDp-V方法在模拟与真实数据上的性能是否优于或等同于PLSC？
• RQ4 在无变化点原假设下，滤波导数的渐近分布为何种形式？
• RQ5 FDp-V方法能否可靠检测高采样频率的生理与金融时间序列中的结构变化？

主要发现

• FDp-V方法实现了O(n)的时间与内存复杂度，使其可扩展至n ≥ 100,000个观测值的大规模数据集。
• 通过剔除p值低于显著性水平的变化点，该方法成功降低了假阳性率，提升了检测的特异性。
• 在模拟数据中，FDp-V的检测精度与PLSC相当，但计算成本显著更低。
• 标准化滤波导数的渐近分布收敛于Gumbel极值分布，支持了p值计算的有效性。
• 在真实应用场景中，FDp-V成功分割了24小时心电图数据，并检测到日频金融交易量时间序列中的结构变化。
• 理论结果表明，在原假设下，基于p值的过滤步骤具有渐近有效性，可有效控制第一类错误率。