[论文解读] Reinforcement Learning based dynamic weighing of Ensemble Models for Time Series Forecasting

Satheesh K. Perepu, Bala Shyamala Balaji+3 more|arXiv (Cornell University)|Aug 20, 2020

Time Series Analysis and Forecasting被引用 5

一句话总结

该论文提出了一种基于强化学习（RL）的方法，用于在时间序列预测中动态调整集成模型的权重，从而实现对局部数据特征的自适应响应。通过将权重调整视为一个序列决策问题，RL智能体能够实时学习以最小化预测误差，相较于次优方法在NMSE上提升了44.1%（0.143 vs. 0.256），在在线设置中展现出更优的准确性和适应性。

ABSTRACT

Ensemble models are powerful model building tools that are developed with a focus to improve the accuracy of model predictions. They find applications in time series forecasting in varied scenarios including but not limited to process industries, health care, and economics where a single model might not provide optimal performance. It is known that if models selected for data modelling are distinct (linear/non-linear, static/dynamic) and independent (minimally correlated models), the accuracy of the predictions is improved. Various approaches suggested in the literature to weigh the ensemble models use a static set of weights. Due to this limitation, approaches using a static set of weights for weighing ensemble models cannot capture the dynamic changes or local features of the data effectively. To address this issue, a Reinforcement Learning (RL) approach to dynamically assign and update weights of each of the models at different time instants depending on the nature of data and the individual model predictions is proposed in this work. The RL method implemented online, essentially learns to update the weights and reduce the errors as the time progresses. Simulation studies on time series data showed that the dynamic weighted approach using RL learns the weight better than existing approaches. The accuracy of the proposed method is compared with an existing approach of online Neural Network tuning quantitatively through normalized mean square error(NMSE) values.

研究动机与目标

• 为解决集成模型中静态加权的局限性，该局限性无法适应局部数据特征以及随时间变化的模型性能。
• 开发一种在线动态加权机制，根据预测误差和数据上下文实时更新模型权重。
• 通过利用RL自适应优化集成权重，而非使用固定或批处理优化的权重，提升时间序列预测的准确性。
• 实现实时模型选择与权重调整，使系统能够在任意时间点识别出最相关的模型。
• 证明基于RL的动态加权在单变量时间序列预测中相较于静态方法和在线学习基线的可行性与优越性。

提出的方法

• 该方法将动态权重调整建模为马尔可夫决策过程（MDP），其中状态由各模型的预测误差和当前时间步定义。
• 动作空间由集成中每个模型的权重组成，目标是最小化整体预测误差。
• 使用深度Q网络（DQN）近似Q函数，网络输入为当前状态（预测误差），输出为每个动作（权重向量）的Q值。
• 奖励函数定义为每个时间步归一化均方误差（NMSE）的负值，以鼓励智能体最小化误差。
• 模型采用在线训练方式，每次接收到新数据样本后使用经验回放和目标网络来稳定学习过程，实时更新权重。
• 最终将学习到的权重应用于集成预测，系统在新数据到达时持续自适应调整。

实验结果

研究问题

• RQ1 强化学习能否有效学习时间序列预测中集成模型的动态、时变权重？
• RQ2 与静态加权和在线神经网络调优相比，基于RL的动态加权在预测准确性方面表现如何？
• RQ3 RL智能体能否通过相应调整模型权重，适应时间序列数据中的局部特征，如非线性趋势或周期性？
• RQ4 基于RL的方法的计算开销如何？是否适合实时在线预测应用？
• RQ5 该RL方法能否在任意给定时间点识别出最相关的模型，从而实现集成决策的可解释性？

主要发现

• 所提出的基于RL的动态加权方法在测试集上实现了0.143的NMSE，显著优于次优方法——在线神经网络调优（NMSE为0.256）。
• 与在线NN基线相比，该方法将NMSE降低了44.1%，显著提升了预测准确性。
• 在单个模型中，ANN表现最佳（NMSE为0.26），但采用RL加权的集成模型表现更优，表明实现了有效的模型组合。
• 使用RL进行权重计算的平均耗时为每样本0.2秒，对于采样时间低于0.2秒的应用场景而言，该计算开销在实时应用中是可行的。
• RL智能体成功适应了局部数据特征，表现为动态权重更新，且在训练和测试阶段预测值更贴近真实值。
• 该方法实现了实时模型识别，因为每个时间步学习到的权重揭示了在该时刻最具影响力的模型。