[论文解读] Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting

Rajat Sen, Hsiang‐Fu Yu+1 more|arXiv (Cornell University)|May 9, 2019

Stock Market Forecasting Methods被引用 181

一句话总结

本文提出 DeepGLO，一种结合全局低秩时序卷积模型与局部时序卷积网络的混合预测器，在高维时间序列上无需先验归一化即可实现可靠训练，并取得显著的实证提升。

ABSTRACT

Forecasting high-dimensional time series plays a crucial role in many applications such as demand forecasting and financial predictions. Modern datasets can have millions of correlated time-series that evolve together, i.e they are extremely high dimensional (one dimension for each individual time-series). There is a need for exploiting global patterns and coupling them with local calibration for better prediction. However, most recent deep learning approaches in the literature are one-dimensional, i.e, even though they are trained on the whole dataset, during prediction, the future forecast for a single dimension mainly depends on past values from the same dimension. In this paper, we seek to correct this deficiency and propose DeepGLO, a deep forecasting model which thinks globally and acts locally. In particular, DeepGLO is a hybrid model that combines a global matrix factorization model regularized by a temporal convolution network, along with another temporal network that can capture local properties of each time-series and associated covariates. Our model can be trained effectively on high-dimensional but diverse time series, where different time series can have vastly different scales, without a priori normalization or rescaling. Empirical results demonstrate that DeepGLO can outperform state-of-the-art approaches; for example, we see more than 25% improvement in WAPE over other methods on a public dataset that contains more than 100K-dimensional time series.

研究动机与目标

• 在极高维度的时间序列中进行预测的动机：当全局模式与局部动态共存时。
• 提出一种可扩展、无归一化需求的深度模型训练方法，适用于处理具有多样尺度的时间序列。
• 开发全局时序卷积矩阵分解（TCN-MF）及将全局输出作为协变量用于局部预测的混合模型。
• 在多个大型真实数据集上显示相对于最先进基线的卓越性能，包括非常高维的序列。
• 提供实用的训练算法和初始化技巧，促进在多样数据集上实现可靠优化。

提出的方法

• LeveledInit：一种针对时序卷积网络（TCN）的简单初始化，在将滤波器初始化为 1/k、偏置初始化为 0 的方式下实现无需先验归一化的训练。
• TCN-MF：对 Y^(tr) = F X^(tr) 的低秩矩阵分解，通过 Temporal Convolution Network T_X 正则化，以在 X^(tr) 上施加时序结构并预测 X^(te)。
• 时序正则化：使用 R(X^(tr) | T_X) = (1/|J|) L2( X(:, J), T_X( X(:, J-1) ) ) 来鼓励基序时间序列遵循所学的时序模式。
• DeepGLO：一种两阶段混合模型，其中全局模型的预测作为协变量输入到局部 T_Y 网络中，将全局模式与局部序列及协变量结合用于预测。
• 训练：在固定 T_X 的情况下，对 F、X^(tr) 进行交替优化，并通过小批量 SGD 更新 T_X；预测支持滚动和多步预测且无需重新训练。
• 算法细节：算法 1（LeveledInit TCN 训练）、算法 2（带交替优化的 TCN-MF 训练）、算法 3（在给定 T_X 的情况下训练 F 和 X^(tr)）、算法 4（通过协变量增强的端到端 DeepGLO 训练）。

实验结果

研究问题

• RQ1 在数百万个时间序列中，全球低秩表示是否能够在不显式归一化的情况下捕捉到共享的时序模式？
• RQ2 将全局时序模型作为协变量是否相比纯局部模型提高每个序列的预测精度？
• RQ3 简单的 LeveledInit 初始化是否能够在高度多样的尺度数据上实现对时序卷积网络的可靠训练而无需归一化？
• RQ4 在大规模高维数据集（如 Wiki 超过 100K 条时间序列）上的滚动/预测任务中，DeepGLO 相对于最先进基线的表现如何？

主要发现

• DeepGLO 在四个真实世界数据集的滚动预测任务中超越了最先进的基线。
• 该方法也适用于维度极高的数据集，包括公开的 wiki 数据集超过 10 万条时间序列，在预测准确性方面有显著提升。
• LeveledInit 使在跨越多样时间序列尺度的情况下无需先验归一化就能可靠地训练 TCN。
• 全局 TCN-MF 组件通过低秩分解捕捉全局时序模式，而局部 TCN 捕捉每个序列的动态，混合模型 DeepGLO 有效地将两者结合。
• 该模型支持滚动预测和多步前瞻且无需重新训练，与某些竞争方法不同。