[论文解读] Online Learning for Time Series Prediction

Oren Anava, Elad Hazan+2 more|arXiv (Cornell University)|Feb 27, 2013

Advanced Bandit Algorithms Research参考文献 14被引用 71

一句话总结

本文提出了一种基于ARMA模型的在线学习框架，用于时间序列预测，在弱噪声假设（零均值，无需独立同分布或高斯性要求）下，仍能实现相对于事后最优ARMA预测器的次线性遗憾。通过利用遗憾最小化与非正规学习，该方法确保性能渐近逼近最优ARMA模型，针对平方损失的遗憾界为$O(\log^2 T)$，且对自相关或对抗性噪声具有鲁棒性。

ABSTRACT

In this paper we address the problem of predicting a time series using the ARMA (autoregressive moving average) model, under minimal assumptions on the noise terms. Using regret minimization techniques, we develop effective online learning algorithms for the prediction problem, without assuming that the noise terms are Gaussian, identically distributed or even independent. Furthermore, we show that our algorithm's performances asymptotically approaches the performance of the best ARMA model in hindsight.

研究动机与目标

• 开发一种适用于时间序列预测的一般性在线学习方法，放宽对噪声项的强统计假设，如独立性、同分布性或高斯性。
• 通过在在线设置中使用遗憾最小化技术，实现在任意或对抗性生成噪声下的有效预测。
• 即使真实模型参数和噪声未知，也能实现相对于事后最优ARMA模型的次线性遗憾。
• 将框架扩展至一般凸损失函数和指数凸损失函数，不限于平方损失。
• 在合成数据和真实时间序列（包括气象与金融数据）上对方法进行经验验证。

提出的方法

• 该方法采用在线凸优化与遗憾最小化，预测过程按顺序进行，无需了解未来数据或噪声信息。
• 提出两种算法：一种用于一般凸损失函数，另一种用于指数凸损失，两者均旨在最小化相对于最优ARMA模型的遗憾。
• 采用非正规学习，允许算法使用比真实ARMA结构更广泛的模型类，从而提升适应能力。
• 针对平方损失，算法实现$O(\log^2 T)$的遗憾界，渐近逼近事后最优ARMA模型的性能。
• 通过仅依赖零均值假设，框架可处理非独立同分布噪声，包括自相关和对抗性噪声。
• 理论分析得到在合成ARMA过程和真实时间序列（如月度海表温度与标普500每日收益率）上的经验评估支持。

实验结果

研究问题

• RQ1 在线学习算法是否能在不假设i.i.d.或高斯噪声的前提下，实现时间序列预测中的次线性遗憾？
• RQ2 在弱噪声假设下，在线ARMA预测的性能与事后最优ARMA模型相比如何？
• RQ3 该框架能否扩展至一般凸损失函数和指数凸损失函数，而不仅限于平方损失？
• RQ4 该方法对时间序列中的自相关或对抗性生成噪声的鲁棒性如何？
• RQ5 在具有复杂动态特性的现实时间序列上，该在线方法是否优于传统离线方法？

主要发现

• 所提出的在线学习算法在平方损失函数下，相对于事后最优ARMA模型实现了$O(\log^2 T)$的遗憾界。
• 在自相关噪声下表现稳健，平均误差收敛至噪声方差（如一次实验中为0.09），表明具有良好的适应能力。
• 经验结果表明，在合成ARMA过程中，该在线算法优于标准方法，即使系数发生突变。
• 在真实世界数据（如月度海表温度）上，该在线方法能有效学习季节性模式，并优于基线模型。
• 对于金融时间序列（如标普500每日收益率），ARMA模型本身不足以充分建模，但该在线方法仍能提供合理性能，即使在模型受限的情况下。
• 当噪声为对抗性生成时（只要其均值为零），该框架依然有效，表明在最小假设下具有强大的泛化能力。