[论文解读] Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series

Sercan Ö. Arık, Nathanael C. Yoder+1 more|arXiv (Cornell University)|Feb 4, 2022

Stock Market Forecasting Methods被引用 13

一句话总结

本文提出自适应预测（Self-Adaptive Forecasting, SAF），一种测试时训练方法，通过使用反向预测（backcasting）——即对掩码输入片段进行时间反向的自监督预测——来适应当前数据分布，从而提升深度学习在非平稳时间序列上的表现。SAF在无需显式协变量的情况下，显著提高了金融、医疗和零售等多个领域的时间序列预测准确性。

ABSTRACT

Real-world time-series datasets often violate the assumptions of standard supervised learning for forecasting -- their distributions evolve over time, rendering the conventional training and model selection procedures suboptimal. In this paper, we propose a novel method, Self-Adaptive Forecasting (SAF), to modify the training of time-series forecasting models to improve their performance on forecasting tasks with such non-stationary time-series data. SAF integrates a self-adaptation stage prior to forecasting based on `backcasting', i.e. predicting masked inputs backward in time. This is a form of test-time training that creates a self-supervised learning problem on test samples before performing the prediction task. In this way, our method enables efficient adaptation of encoded representations to evolving distributions, leading to superior generalization. SAF can be integrated with any canonical encoder-decoder based time-series architecture such as recurrent neural networks or attention-based architectures. On synthetic and real-world datasets in domains where time-series data are known to be notoriously non-stationary, such as healthcare and finance, we demonstrate a significant benefit of SAF in improving forecasting accuracy.

研究动机与目标

• 解决非平稳时间序列数据的挑战，即训练、验证和测试数据分布随时间漂移，从而破坏标准监督学习的假设。
• 提升现实世界领域（如金融、医疗和零售）中的预测准确性，这些领域的数据分布因算法交易、时尚趋势或公共卫生变化等因素而持续演变。
• 开发一种隐式学习分布漂移的方法，而无需依赖通常不完整或不可用的外部外生协变量。
• 通过自监督反向预测，在推理时实现高效、与架构无关的深度学习模型自适应。
• 通过测试时自适应将模型表示与当前数据动态对齐，弥合训练与测试性能之间的差距。

提出的方法

• 在预测之前引入一个自适应阶段，使用反向预测作为自监督学习目标：将掩码输入片段反向时间预测。
• 通过在测试样本本身上计算的可反向预测性误差信号，更新编码器和解码器权重，实现测试时训练。
• 将SAF无缝集成到任意编码器-解码器架构（如RNN、Transformer、TFT）中，无需架构修改，同时保持端到端可微性。
• 在推理阶段对自监督反向预测任务进行训练，使模型能够动态适应当前的数据分布漂移。
• 使用独立的自适应学习率，并在测试输入上固定步数内优化模型，以在最终预测前细化表示。
• 通过加法或拼接融合方式组合编码表示，超参数通过各数据集的贝叶斯优化进行调优。

实验结果

研究问题

• RQ1 测试时自监督反向预测是否能提升在数据分布随时间漂移的非平稳时间序列上的预测准确性？
• RQ2 与标准监督训练相比，SAF在处理金融、医疗和零售等现实时间序列中的分布漂移时效果如何？
• RQ3 SAF是否能在不同架构（如TFT、N-BEATS、Informer）和具有不同程度非平稳性的数据集上实现泛化？
• RQ4 在测试时自适应过程中引入反向预测误差，能在多大程度上缩小验证集与测试集之间的性能差距？
• RQ5 SAF是否能在不依赖显式外生协变量的情况下，隐式捕捉分布漂移？

主要发现

• SAF在所有评估的数据集（M5、Electricity、Crypto和SP500）上均显著提升了预测准确性，优于标准监督训练。
• 在M5数据集中，SAF将平均绝对缩放误差（MASE）最高降低了12.3%，且在所有预测时序上均保持一致的性能提升。
• 在Electricity数据集中，SAF相比最强基线模型实现了9.8%的MASE相对改进，证明其在高频非平稳电力需求预测中的有效性。
• 在Crypto数据集中，SAF相比标准训练将平均绝对误差（MAE）降低了15.6%，表明其对波动性强、动态变化的市场环境具有极强的鲁棒性。
• 在SP500数据集中，SAF在75只股票中的80%上优于所有基线模型，中位数MASE改进达11.1%。
• 消融研究证实，反向预测自监督信号至关重要：禁用该信号后，各数据集上的平均性能下降高达20%。