[论文解读] OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling

Yifan Zhang, Qingsong Wen+7 more|arXiv (Cornell University)|Sep 22, 2023

Data Stream Mining Techniques被引用 21

一句话总结

OneNet 构建了一个两路在线集成的时间序列预测器（跨时间和跨变量），其权重由一个带有强化学习信息的在线凸优化模块动态调整，在概念漂移下实现显著改进。

ABSTRACT

Online updating of time series forecasting models aims to address the concept drifting problem by efficiently updating forecasting models based on streaming data. Many algorithms are designed for online time series forecasting, with some exploiting cross-variable dependency while others assume independence among variables. Given every data assumption has its own pros and cons in online time series modeling, we propose extbf{On}line extbf{e}nsembling extbf{Net}work (OneNet). It dynamically updates and combines two models, with one focusing on modeling the dependency across the time dimension and the other on cross-variate dependency. Our method incorporates a reinforcement learning-based approach into the traditional online convex programming framework, allowing for the linear combination of the two models with dynamically adjusted weights. OneNet addresses the main shortcoming of classical online learning methods that tend to be slow in adapting to the concept drift. Empirical results show that OneNet reduces online forecasting error by more than $\mathbf{50\%}$ compared to the State-Of-The-Art (SOTA) method. The code is available at \url{https://github.com/yfzhang114/OneNet}.

研究动机与目标

• 解决在线时间序列预测中的概念漂移。
• 提出一个两路在线集成以捕捉时间依赖性和跨变量依赖性。
• 开发一个 Online Convex Programming (OCP) block，结合强化学习以动态为集成成员加权。
• 展示在多个数据集和基线下的鲁棒性和性能提升。

提出的方法

• 两路在线预测器：一条建模 temporal（跨时间）依赖，另一条建模 cross-variable（跨变量）依赖。
• Online Convex Programming (OCP) block 将专家预测与权重更新通过 Exponentiated Gradient Descent 进行长期适应，并通过 offline reinforcement learning 进行短期适应。
• 解耦训练：分别训练预测器，同时 OCP block 学习集成权重，以避免弱分支的欠训练。
• 基于 RL 的短期权重预测器关注最近的表现和真实结果，以细化集成权重。
• RL 与 EGD 的权重被组合以形成最终的逐变量集成权重，实现数据相关的模型选择。
• OneNet 可以与任何骨干网络(backbone)或在线自适应策略搭配，以增强鲁棒性。

实验结果

研究问题

• RQ1 在线集成如何缓解多变量时间序列预测中的概念漂移？
• RQ2 在漂移下，分离建模的时间依赖和跨变量依赖的流是否提供互补的好处？
• RQ3 以 RL 为信息的在线凸优化策略是否比经典方法提供更快且更鲁棒的权重自适应？
• RQ4 在线集成设计选型（归一化、分解、频率增强）在漂移下对鲁棒性的影响？

主要发现

• 与SOTA基线相比，OneNet 在在线预测误差方面取得显著降低（例如在四个数据集上的 MSE/MAE 降幅）。
• 带有 RL 信息权重的两路流集合（cross-time 与 cross-variable）优于单模型基线和简单的集成方法。
• 强化 RL 的 OCP 块在长期历史与短期自适应之间取得有效平衡，提升对概念漂移的响应。
• 解耦训练确保两个预测器随时间得到充分训练，保留它们的互补优势。
• 消融研究表明所提出的设计选择（例如集成权重策略）显著影响鲁棒性和准确性。
• 参数更少的 OneNet 变体在具有挑战性的数据集上仍然优于先前的 SOTA 结果。