[论文解读] Random Forests for Change Point Detection

Malte Londschien, Peter Bühlmann+1 more|arXiv (Cornell University)|May 10, 2022

Statistical Methods and Inference被引用 16

一句话总结

本文提出 changeforest，一种新颖的非参数多变量变化点检测方法，利用分类器对数似然比（特别是随机森林）检测时间序列中的多个结构变化。该方法通过计算高效的二元分割算法，实现了对单个变化点的一致检测，并在大量模拟实验中优于现有的非参数方法。

ABSTRACT

We propose a novel multivariate nonparametric multiple change point detection method using classifiers. We construct a classifier log-likelihood ratio that uses class probability predictions to compare different change point configurations. We propose a computationally feasible search method that is particularly well suited for random forests, denoted by changeforest. However, the method can be paired with any classifier that yields class probability predictions, which we illustrate by also using a k-nearest neighbor classifier. We prove that it consistently locates change points in single change point settings when paired with a consistent classifier. Our proposed method changeforest achieves improved empirical performance in an extensive simulation study compared to existing multivariate nonparametric change point detection methods. An efficient implementation of our method is made available for R, Python, and Rust users in the changeforest software package.

研究动机与目标

• 开发一种非参数、多变量变化点检测方法，不假设参数分布形式。
• 解决在高维、复杂数据结构中检测多个变化点的挑战，其中传统参数方法失效。
• 利用现代机器学习分类器（尤其是随机森林）实现稳健且灵活的变化点估计。
• 确保在大规模时间序列数据上的计算效率和可扩展性。
• 提供理论基础坚实且经验验证可靠的方法，在弱正则性条件下具备一致检测特性。

提出的方法

• 该方法利用训练好的分类器输出的类别概率预测，构建分类器对数似然比，以比较不同变化点配置。
• 采用两步二元分割算法，每个单个变化点仅需固定数量的分类器拟合，实现与变化点数量的线性扩展。
• 该算法可兼容任意输出类别概率的分类器，包括随机森林和k近邻。
• 采用基于显著性阈值的模型选择程序以控制假阳性，但并非完整的置换检验。
• 该方法已实现在 R、Python 和 Rust 的开源 changeforest 软件包中，支持广泛可及性和可扩展性。
• 对于序列相关的数据，可通过将滞后观测值作为特征纳入，以保留时间依赖结构，从而实现方法扩展。

实验结果

研究问题

• RQ1 当与提供一致类别概率估计的分类器配对时，基于分类器的非参数框架是否能在多变量时间序列中一致检测单个变化点？
• RQ2 在不同数据类型和维度下，所提出方法与现有非参数变化点检测方法相比性能如何？
• RQ3 在检测多个变化点时，该方法的计算效率如何，特别是在大规模或高维设置下？
• RQ4 该方法对不同数据分布（包括重尾或非高斯边缘分布）以及协方差结构变化的鲁棒性如何？
• RQ5 通过引入滞后特征，能否将该方法扩展至处理具有序列相关性的时间序列，同时不损害检测准确性？

主要发现

• 当与提供一致类别概率估计的分类器配对时，changeforest 算法在总体设定下可一致检测单个变化点，已得到理论证明。
• 在模拟研究中，changeforest 在所有测试数据集上的检测准确率和 F1 分数均优于现有非参数方法（如 KCP、MultiRank 和 ECP）。
• changeforest 的假阳性率在各数据集中保持稳定，分别为 3.36%（iris）、3.76%（glass）和 3.00%（breast cancer），表明在同质性条件下具有可靠的控制能力。
• 该方法实现接近线性的计算时间随样本量增长，支持在大规模数据集上的高效检测。
• k近邻变体（changekNN）的假阳性率较高（在乳腺癌数据上最高达 29.8%），凸显了在核心算法中使用随机森林的优势。
• changeforest 软件包支持 R、Python 和 Rust，实现高效且可通过 GitHub 开源获取，支持可重现性与广泛采用。