[论文解读] N-BEATS: Neural basis expansion analysis for interpretable time series forecasting

Boris N. Oreshkin, Dmitri Carpov+2 more|arXiv (Cornell University)|May 24, 2019

Forecasting Techniques and Applications参考文献 39被引用 160

一句话总结

提出一种纯深度学习架构用于单变量时间序列预测，在 M3、M4 和旅游数据集上实现了最先进的准确性，同时通过结构化的趋势和周期性分量实现可解释输出。

ABSTRACT

We focus on solving the univariate times series point forecasting problem using deep learning. We propose a deep neural architecture based on backward and forward residual links and a very deep stack of fully-connected layers. The architecture has a number of desirable properties, being interpretable, applicable without modification to a wide array of target domains, and fast to train. We test the proposed architecture on several well-known datasets, including M3, M4 and TOURISM competition datasets containing time series from diverse domains. We demonstrate state-of-the-art performance for two configurations of N-BEATS for all the datasets, improving forecast accuracy by 11% over a statistical benchmark and by 3% over last year's winner of the M4 competition, a domain-adjusted hand-crafted hybrid between neural network and statistical time series models. The first configuration of our model does not employ any time-series-specific components and its performance on heterogeneous datasets strongly suggests that, contrarily to received wisdom, deep learning primitives such as residual blocks are by themselves sufficient to solve a wide range of forecasting problems. Finally, we demonstrate how the proposed architecture can be augmented to provide outputs that are interpretable without considerable loss in accuracy.

研究动机与目标

• 证明一种纯粹的深度学习架构在标准单变量时间序列预测基准上能够超过经典统计方法。
• 展示该模型在不使用时间序列特定特征工程或输入缩放的情况下也能工作。
• 开发一个可解释的架构变体，输出人类可理解的预测分量（趋势和季节性）。
• 提供一个训练与集成策略，在不同数据集上实现强泛化。

提出的方法

• 介绍一个由堆叠的全连接块构成的深度神经网络架构，带有向后和向前残差连接，产生 backcasts 和 forecasts。
• 使用双重残差堆叠方案在块和堆栈之间聚合部分预测和回溯预测。
• 定义两个配置：一个通用 DL 模型和一个在堆栈内通过诱导偏置强制多项式趋势和基于傅里叶的季节性以实现可解释性的 DL 模型。
• 每个块提供两种输出模态：一个前向预测和一个后向回溯预测，均通过学习到的展开系数和基函数表示。
• 允许在一个堆栈内共享基函数以促进可解释性并促进梯度流。
• 为每个预测视距 H 训练独立模型，在不同视距和数据集之间复用架构和超参数，并通过集成提升性能。
• 通过将预测分解为趋势和季节性分量来讨论可解释性，其中趋势建模为低阶多项式，季节性通过傅里叶基函数建模。

实验结果

研究问题

• RQ1 一个不包含时间序列特定组件的纯深度学习架构，是否能够超过主要时间序列预测基准上的传统统计方法？
• RQ2 是否可以从 DL 模型获得可解释的预测分量（趋势和季节性），而不牺牲预测准确性？
• RQ3 在一个堆栈内共享基函数是否有助于可解释性和训练效率，同时保持性能？
• RQ4 跨视距、指标和随机初始值的集成如何影响预测准确性和鲁棒性？

主要发现

• N-BEATS 在报告的配置和指标上，在 M3、M4 和旅游数据集上实现了最先进的性能。
• 研究了两种配置：通用 DL 模型（N-BEATS-G）和可解释模型（N-BEATS-I），其中 N-BEATS-I 能在不显著损失准确性的情况下提供可解释的趋势和季节性输出。
• 在 M4 数据集上，N-BEATS 的变体在统计基准和 M4 比赛冠军上均有显著领先，展示了纯 DL 方法在时间序列预测中的力量。
• 该可解释变体将预测分解为单调趋势和规则季节性分量，类似于传统分解技术，且精度损失很小。
• 对多模型进行集成（基于视距、指标、窗口长度和随机种子）可带来进一步的性能提升，并充当强有力的正则化。