[论文解读] The DeepCAR Method: Forecasting Time-Series Data That Have Change Points

Ayla Jungbluth, Johannes Lederer|arXiv (Cornell University)|Feb 22, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

本文提出 DeepCAR，一种 DeepAR 框架的新型扩展，通过检测并整合变化点，结合批量大小自适应机制，提升时间序列预测性能。通过修改训练批次以排除或隔离包含变化点的时间窗口，DeepCAR 在干净数据上保持原有性能，同时在含变化点的数据上显著提升准确性，在真实世界和合成数据集上的测试 RMSE 相较标准 DeepAR 和朴素基线模型最高提升 9%。

ABSTRACT

Many methods for time-series forecasting are known in classical statistics, such as autoregression, moving averages, and exponential smoothing. The DeepAR framework is a novel, recent approach for time-series forecasting based on deep learning. DeepAR has shown very promising results already. However, time series often have change points, which can degrade the DeepAR's prediction performance substantially. This paper extends the DeepAR framework by detecting and including those change points. We show that our method performs as well as standard DeepAR when there are no change points and considerably better when there are change points. More generally, we show that the batch size provides an effective and surprisingly simple way to deal with change points in DeepAR, Transformers, and other modern forecasting models.

研究动机与目标

• 解决 DeepAR 及其他深度学习模型在处理含变化点的时间序列时性能下降的局限性。
• 开发一种方法，将变化点检测无缝集成到现有深度学习预测框架中，无需模型重训练或架构修改。
• 在保持原始预测模型特性与实现不变的前提下，提升其对时间序列中结构突变的鲁棒性。
• 证明批量大小选择可作为通用机制，适用于多种模型（包括 Transformer 和 TFT）以应对变化点。
• 实现将任意现有变化点检测方法无缝集成到批量训练预测模型的训练流水线中。

提出的方法

• 调整 DeepAR 中的训练批次生成过程，利用检测到的变化点作为边界，排除或隔离包含变化点的时间窗口。
• 在模型训练前，应用变化点检测算法（如 MOSUM）识别时间序列数据中的结构突变。
• 利用检测到的变化点定义批次边界，确保任一训练窗口不跨越变化点，从而减少模型混淆。
• 保持原始 DeepAR 架构与基于似然的训练流程不变，仅修改训练样本的采样方式。
• 通过相同的批次级过滤机制，将该方法推广至其他批量训练模型，如 Transformer 和时间融合变压器（TFT）。
• 通过模块化流水线（称为 BatchCP）实现该方法，可无缝集成到 GluonTS 等现有框架中，无需修改核心模型。

实验结果

研究问题

• RQ1 通过修改 DeepAR 中的训练批次采样过程，能否有效处理时间序列数据中的变化点？
• RQ2 将检测到的变化点整合进训练批次后，其预测准确性是否显著优于标准 DeepAR 在结构突变数据上的表现？
• RQ3 批量大小能否作为通用机制，适用于多种深度学习预测模型以应对变化点？
• RQ4 DeepCAR 在已知存在变化点的真实世界时间序列上，与原始 DeepAR 及朴素基线模型相比表现如何？
• RQ5 所提出方法在注意力机制模型（如 Transformer 和 TFT）上的泛化能力如何？

主要发现

• 在 Treasury 数据集上，使用基于 MOSUM 的变化点检测时，DeepCAR 相较标准 DeepAR 在测试 RMSE 上最高提升 9%，测试 RMSE 从 5.93 降至 5.61。
• 在含 13 个受控变化点的合成数据上，采用人工检测的 DeepCAR 将测试 RMSE 从 DeepAR 的 5.77 降至 5.40，实现 6.4% 的改进。
• 在污染数据集上，使用 MOSUM 检测的 DeepCAR 将测试 RMSE 从无变化点检测的 Transformer 的 96.23 降至 93.12，实现 3.2% 的改进，尽管基线误差较高。
• 在无变化点的数据上，DeepCAR 保持与 DeepAR 相当的性能，证实其在无变化点时不会降低性能。
• 该方法在 Transformer 和 TFT 上也表现出良好泛化能力，当检测到变化点并从训练批次中排除后，显著提升其预测准确性。
• 批量大小选择策略提供了一种出人意料的简单而有效的方法，适用于 DeepAR、Transformer 和 TFT 等多种模型以应对变化点。