[论文解读] N-BEATS: Neural basis expansion analysis for interpretable time series forecasting

Boris N. Oreshkin, Dmitri Carpov+2 more|arXiv (Cornell University)|May 24, 2019

Forecasting Techniques and Applications参考文献 33被引用 517

一句话总结

引入 N-BEATS，一种纯深度学习的单变量时间序列预测架构，具有前向/后向残差和双重残差堆叠，在 M3、M4 和旅游数据集上实现了最先进的结果，同时提供可解释的输出。

ABSTRACT

We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.

研究动机与目标

• 证明一种纯深度学习架构在单变量时间序列预测中无需时序特征即可超越传统统计方法。
• 提出一种具有后向和前向残差、以堆栈组织的深度架构，训练快速且在跨领域具可扩展性。
• 展示该架构能够产生可解释的输出（趋势和季节性），且不牺牲准确性。
• 在多样化数据集（M3、M4、旅游）上评估性能，以建立跨领域的一般化。

提出的方法

• 提出 N-BEATS 构建模块：全连接网络用于预测前向 (theta^f) 和后向 (theta^b) 展开系数。
• 使用基层 g^f 和 g^b 将展开系数映射到预测 y_hat 和反向预测 x_hat，通过基向量 v^f 和 v^b。
• 将块组织成具有双重残差连接的堆栈：x_l = x_{l-1} - x_hat_{l-1}，y_hat = ∑_l y_hat_l。
• 提供两种配置：通用 DL 版本（无时序特定偏置）和带推理偏置的可解释版本（趋势为多项式，季节性为傅里叶基）。
• 跨堆栈聚合部分预测形成最终预测 y_hat；包含在不同输入、指标和随机初始化下训练的模型集合。
• 训练：对每个 horizon/数据集训练一个模型；使用 Adam；超参数进行交叉验证；早停；从长度为 2H..7H 的历史窗口中采样 1024 批次。

实验结果

研究问题

• RQ1 在多样化单变量时间序列数据集上，纯深度学习在没有时序特定特征工程的情况下，是否能够达到最先进的预测准确性？
• RQ2 是否能够设计一种架构，在不牺牲预测性能的前提下产生可解释的输出（趋势和季节性）？
• RQ3 在深度时间序列模型中，堆栈化和残差连接对训练稳定性和泛化能力的影响如何？
• RQ4 在基准数据集上，N-BEATS 模型集合与经典统计方法和混合方法相比如何？

主要发现

• N-BEATS 配置在 M3、M4 和旅游数据集上实现了最先进的性能，相较统计基准和 M4 获胜者有显著提升。
• 一个通用的 N-BEATS 模型（无时序特定组件）在异质数据集上表现强劲，挑战了深度学习需要手工特征的观点。
• 一个可解释配置产生了清晰、类似人类的成分（趋势和季节性），其中趋势成分单调，季节性呈周期性，同时保持了有竞争力的准确性。
• 对跨 horizon、指标和输入窗口长度的 180 个模型进行集成，产生稳健的性能并作为一种强正则化技术。
• 该架构可以在不同 horizon 和数据集之间共享权重进行训练，展示了在多样化的时间序列设置中的泛化和可扩展性。