[论文解读] Simultaneously Reconciled Quantile Forecasting of Hierarchically Related Time Series

Xing Han, Sambarta Dasgupta+1 more|arXiv (Cornell University)|Feb 25, 2021

Forecasting Techniques and Applications参考文献 33被引用 6

一句话总结

该论文提出SHARQ，一种新颖的框架，通过在深度学习模型训练过程中以可微分分位数回归损失结合正则化，直接整合层次一致性约束，实现对层次相关时间序列的同步校正分位数预测。该方法在非高斯噪声和有偏估计器条件下，实现了卓越的预测准确性和一致性，且无需计算昂贵的矩阵求逆，优于最先进方法。

ABSTRACT

Many real-life applications involve simultaneously forecasting multiple time series that are hierarchically related via aggregation or disaggregation operations. For instance, commercial organizations often want to forecast inventories simultaneously at store, city, and state levels for resource planning purposes. In such applications, it is important that the forecasts, in addition to being reasonably accurate, are also consistent w.r.t one another. Although forecasting such hierarchical time series has been pursued by economists and data scientists, the current state-of-the-art models use strong assumptions, e.g., all forecasts being unbiased estimates, noise distribution being Gaussian. Besides, state-of-the-art models have not harnessed the power of modern nonlinear models, especially ones based on deep learning. In this paper, we propose using a flexible nonlinear model that optimizes quantile regression loss coupled with suitable regularization terms to maintain the consistency of forecasts across hierarchies. The theoretical framework introduced herein can be applied to any forecasting model with an underlying differentiable loss function. A proof of optimality of our proposed method is also provided. Simulation studies over a range of datasets highlight the efficacy of our approach.

研究动机与目标

• 为解决在基础模型违反无偏性或高斯噪声等强假设时，跨层次相关时间序列产生准确且一致的概率预测的挑战。
• 通过将层次一致性直接嵌入深度学习模型的训练过程，消除对事后校正的需求。
• 开发一种灵活的可微分框架，支持任意可微分预测模型和分位数损失函数，实现端到端优化。
• 通过避免MinT和ERM校正方法中常见的矩阵求逆操作，降低推理过程中的计算复杂度。
• 在噪声分布非高斯且基础预测有偏的真实场景中提升鲁棒性，此类情况会削弱现有校正技术的性能。

提出的方法

• 该方法使用可微分的目标函数，将分位数回归损失与层次正则化项结合，以在层次的所有层级上强制实现聚合一致性。
• 采用自下而上的训练策略，在保持一致性约束的同时，同步更新相邻层级的模型参数，通过结构化正则化方案实现。
• 正则化强度通过超参数λ_i逐层调节，较高聚合层级使用较低值，以反映较低的误差传播风险。
• 该框架具有通用性，可应用于任意具有可微损失函数的预测模型，支持与RNN或Transformer等现代深度学习架构集成。
• 将校正问题形式化为约束优化问题，通过惩罚项强制确保较低层级预测之和等于父节点的预测。
• 通过端到端学习一致预测，避免推理过程中的矩阵求逆，显著降低与MinT或ERM相比的计算开销。

实验结果

研究问题

• RQ1 是否可以训练基于深度学习的预测模型，在不依赖事后校正的情况下，同时在时间序列层次结构中生成准确且一致的预测？
• RQ2 在非高斯噪声和有偏基础预测条件下，将层次一致性作为可微分正则化项引入，对预测准确性和一致性有何影响？
• RQ3 与最先进的校正技术（如MinT和ERM）相比，所提出方法在多大程度上降低了推理复杂度？
• RQ4 该方法是否能在噪声特性各异、层次结构多样的时间序列上实现泛化，而无需手动选择损失函数？
• RQ5 逐层正则化策略（λ_i值递减）对误差在聚合层级间的传播及预测一致性有何影响？

主要发现

• 与无正则化的基线模型（SHARQ without regularization）相比，SHARQ在所有数据集和预测模型上均显著降低了一致性损失，一致性损失出现大幅下降。
• 在M5竞赛数据集（42,840个时间序列）上，SHARQ在第4层（底层）的CRPS为0.135，优于MinT-ols（0.162）和ERM（0.172），表明其在准确性和一致性方面表现更优。
• 在顶层（第1层），SHARQ的CRPS为0.067，显著低于MinT-ols（0.086）和ERM（0.098），表明在聚合层级上性能更优。
• 该方法通过避免矩阵求逆，显著降低推理复杂度，使其在包含数十万条时间序列的工业级应用中具备可扩展性。
• 实证结果表明，SHARQ在非高斯噪声和有偏基础预测下仍保持稳健性能，而传统方法如MinT和ERM则显著退化。
• 采用递减λ_i值的逐层正则化策略能有效减轻高层聚合层级的误差累积，提升整体预测可靠性。