[论文解读] Theory and Algorithms for Forecasting Time Series

Vitaly Kuznetsov, Mehryar Mohri|arXiv (Cornell University)|Mar 15, 2018

Complex Systems and Time Series Analysis参考文献 22被引用 8

一句话总结

本文提出了一种新颖的差异度量和序列复杂度，用于非平稳、非混合时间序列预测的依赖数据的一般化界。该方法提出基于凸优化的算法，并在无需平稳性或混合性假设下提供理论保证，从而在弱依赖条件下实现实际的预测。

ABSTRACT

We present data-dependent learning bounds for the general scenario of non-stationary non-mixing stochastic processes. Our learning guarantees are expressed in terms of a data-dependent measure of sequential complexity and a discrepancy measure that can be estimated from data under some mild assumptions. We also also provide novel analysis of stable time series forecasting algorithm using this new notion of discrepancy that we introduce. We use our learning bounds to devise new algorithms for non-stationary time series forecasting for which we report some preliminary experimental results.

研究动机与目标

• 解决时间序列预测中非平稳、非混合随机过程缺乏一般化界的问题。
• 提出一种在温和假设下可从数据中估计的差异度量，以实现依赖数据的学习保证。
• 将基于稳定性的分析扩展至非平稳、非混合过程，以支持算法设计。
• 设计基于凸优化的预测算法，避免非凸似然最大化和差分变换。
• 为对平稳性和混合性假设存在违反的预测模型提供理论基础，这些假设在经典时间序列模型中普遍存在。

提出的方法

• 引入一种依赖数据的样本分布与目标分布之间的差异度量，以量化非平稳过程中分布偏移。
• 使用期望序列覆盖数和序列 Rademacher 复杂度作为学习界中序列复杂度的度量。
• 推导出结合序列复杂度与差异度量的一般化界，适用于有界记忆和无界记忆模型。
• 将这些界应用于稳定预测算法，将先前针对混合过程的结果扩展至非混合、非平稳设置。
• 通过对偶化目标函数并引入通过变量 $ q_t $ 的重加权方案，将时间序列预测公式化为凸优化问题，从而得到可计算的算法。
• 通过变量变换 $ r_t = 1/q_t $，将原始优化问题转化为适合高效计算的对偶形式。

实验结果

研究问题

• RQ1 能否在非平稳、非混合随机过程中建立时间序列预测的一般化界？
• RQ2 能否定义并从数据中估计一种差异度量，以在缺乏混合性或平稳性假设的情况下实现依赖数据的学习保证？
• RQ3 如何将基于稳定性的分析扩展至非平稳、非混合过程，以支持算法设计？
• RQ4 能否使用凸优化设计预测算法，以避免非凸似然最大化和差分变换？
• RQ5 所提出的界和算法在实践中相较于经典 ARIMA 模型和 i.i.d. 学习理论假设，改进程度如何？

主要发现

• 本文首次为非平稳、非混合随机过程建立了通用化界，即使在平稳情况下也具有新颖性。
• 所提出的差异度量在温和假设下可从数据中估计，从而在无需混合性或平稳性假设的情况下实现依赖数据的学习保证。
• 所提出的预测算法基于凸优化，确保唯一全局解，并避免最大似然估计中的非凸性问题。
• 理论界表明，预测误差受序列复杂度和样本分布与目标分布之间差异度量的控制。
• 该算法实现了形式为 $ ext{disc}( extbf{q}) + G( extbf{q}) $ 的泛化误差界，其中 $ G( extbf{q}) $ 依赖于 $ ilde{C}_T $、$ extbf{q}^* $ 以及最优权重向量 $ L_1 $-距离的对数项。
• 初步实验结果表明，所提算法在非平稳设置下具有可行性与有效性，其鲁棒性和优化稳定性优于传统方法。