[论文解读] Probabilistic Time Series Forecasting with Implicit Quantile Networks

Adèle Gouttes, Kashif Rasul+3 more|arXiv (Cornell University)|Jul 8, 2021

Gaussian Processes and Bayesian Inference参考文献 27被引用 10

一句话总结

本文提出 IQN-RNN，一种用于概率时间序列预测的深度学习框架，结合自回归 RNN 与隐式分位数网络（IQNs），在不假设特定参数形式的前提下，对复杂、非参数化的输出分布进行建模。该方法通过端到端训练最小化连续概率评分（CRPS），在真实世界数据集上实现了点预测与概率预测精度的最先进性能。

ABSTRACT

Here, we propose a general method for probabilistic time series forecasting. We combine an autoregressive recurrent neural network to model temporal dynamics with Implicit Quantile Networks to learn a large class of distributions over a time-series target. When compared to other probabilistic neural forecasting models on real- and simulated data, our approach is favorable in terms of point-wise prediction accuracy as well as on estimating the underlying temporal distribution.

研究动机与目标

• 开发一种通用的概率时间序列预测方法，不假设底层数据分布的具体参数形式。
• 通过使用隐式分位数网络建模完整预测分布，提升点预测与概率预测的准确性。
• 实现时间序列深度学习模型的端到端训练，支持不确定性估计，避免依赖高斯分布或负二项分布等参数分布。
• 在真实世界与模拟数据集上，展示 IQN-RNN 相较于 DeepAR 与 SQF-RNN 等成熟模型的竞争力表现。

提出的方法

• 模型使用自回归 RNN 编码时间依赖性，隐藏状态通过历史观测值与外生特征进行更新。
• 输出分布通过隐式分位数网络（IQNs）建模，将统一随机变量 τ ∈ [0,1] 映射为目标分布的分位数值。
• IQN 头通过最小化连续概率评分（CRPS）的被积函数进行训练，CRPS 是概率预测的合理评分规则。
• 模型通过由神经网络参数化的确定性函数，学习条件分位数函数 q(τ | X_t, y_{t-1}, ..., y_0)。
• 训练目标在 τ ∈ [0,1] 上整合分位数损失，实现无需显式密度建模的完整分布学习。
• 在假设系列间具有同调性（comonotonicity）的前提下，该框架支持单变量与多变量扩展。

实验结果

研究问题

• RQ1 深度学习模型是否能在不假设数据分布具体参数形式的前提下，实现更优的概率预测性能？
• RQ2 IQN-RNN 在点预测与分布准确性方面，相较于现有基于 RNN 的概率模型（如 DeepAR 与 SQF-RNN）表现如何？
• RQ3 IQN-RNN 在涵盖连续型、有界型与计数型数据的多样化时间序列领域中，其泛化能力如何？
• RQ4 通过 IQNs 实现的隐式分布学习是否能在不增加模型复杂度的前提下，带来更优的不确定性量化？

主要发现

• IQN-RNN 在三个真实世界数据集（Electricity、Traffic 和 Wikipedia）上均取得了最低的 CRPS 分数，优于 DeepAR、SQF-RNN 与 ETS。
• 在 Electricity 数据集上，IQN-RNN 的 CRPS 为 0.139，低于 DeepAR-t 的 0.172 与 SQF-RNN-50 的 0.283。
• IQN-RNN 在 Electricity 数据集上实现了最佳的点预测 RMSE（0.168）与 MAE（0.117），优于所有基线模型。
• 该模型在不同类型数据上均保持强劲性能：连续型（Electricity）、有界型（Traffic）与计数型（Wikipedia），展现出良好的鲁棒性。
• 尽管与基线模型使用相同的 RNN 架构与超参数，IQN-RNN 仍取得更优结果，表明 IQN 头的有效性。
• 即使在点预测准确率提升的情况下，该方法在概率指标上也未出现性能下降，表明其不确定性校准具有一致性。