[论文解读] Multivariate Quantile Function Forecaster

Kelvin K.W. Kan, François-Xavier Aubet+5 more|arXiv (Cornell University)|Feb 23, 2022

Forecasting Techniques and Applications被引用 8

一句话总结

该论文提出MQF²，一种新颖的多变量分位数函数预测器，通过输入凸神经网络的梯度建模联合多步概率预测，确保单调性并避免分位数交叉。该方法通过捕捉时间依赖性而无误差累积，实现了最先进性能，在建模时间结构依赖关系方面优于自回归和独立多步长模型。

ABSTRACT

We propose Multivariate Quantile Function Forecaster (MQF$^2$), a global probabilistic forecasting method constructed using a multivariate quantile function and investigate its application to multi-horizon forecasting. Prior approaches are either autoregressive, implicitly capturing the dependency structure across time but exhibiting error accumulation with increasing forecast horizons, or multi-horizon sequence-to-sequence models, which do not exhibit error accumulation, but also do typically not model the dependency structure across time steps. MQF$^2$ combines the benefits of both approaches, by directly making predictions in the form of a multivariate quantile function, defined as the gradient of a convex function which we parametrize using input-convex neural networks. By design, the quantile function is monotone with respect to the input quantile levels and hence avoids quantile crossing. We provide two options to train MQF$^2$: with energy score or with maximum likelihood. Experimental results on real-world and synthetic datasets show that our model has comparable performance with state-of-the-art methods in terms of single time step metrics while capturing the time dependency structure.

研究动机与目标

• 解决现有概率预测方法在多变量设置下无法建模时间步之间时间依赖性的局限性。
• 通过利用最优传输理论和凸分析，将单变量分位数函数预测扩展到多变量情形。
• 开发一种全局的、非自回归的预测方法，避免误差累积，同时保持真实的样本路径。
• 为供应链和库存管理等下游决策提供准确、一致且可解释的概率预测。
• 提供一种灵活的训练框架，支持使用能量评分或最大似然，实现鲁棒且可扩展的推理。

提出的方法

• MQF²将多变量分位数函数建模为一个凸函数的梯度，通过输入凸神经网络参数化，以确保单调性并避免分位数交叉。
• 该方法利用Brenier定理和Knott-Smith最优性准则，将多变量分位数函数定义为具有二次成本的最优传输问题的解。
• 支持两种训练目标：通过能量评分最小化实现鲁棒的多变量校准，以及通过凸势流实现基于密度的学习的最大似然。
• 将基于RNN的特征提取器与分位数函数模型结合，处理序列上下文并生成联合多步预测。
• 样本路径直接从分位数函数生成，保持时间一致性和依赖结构。
• 模型通过能量评分或似然目标端到端训练，实现灵活且可扩展的推理。

实验结果

研究问题

• RQ1 多变量分位数函数能否有效用于建模联合多步概率预测，同时保持时间依赖性？
• RQ2 将分位数函数建模为凸函数的梯度是否能在多变量设置中防止分位数交叉并确保单调性？
• RQ3 MQF²在捕捉时间依赖结构方面与自回归和多步长序列到序列模型相比表现如何？
• RQ4 MQF²能否生成一致且真实的样本路径，反映真实时间序列动态而无误差累积？
• RQ5 能量评分是否是多变量分位数函数预测的可行且鲁棒的训练目标？

主要发现

• 在合成高斯过程数据上，MQF²在相关矩阵估计的平均绝对误差（MAE）最低，优于MQCNN和DeepAR，能更好地捕捉真实相关结构。
• 在真实世界数据集上，MQF²在单步预测精度上与最先进模型相当，同时显式建模了时间依赖性。
• MQF²生成的样本路径表现出真实的平滑性和时间一致性，而MQCNN由于独立建模各时间点，产生独立且不规则的样本。
• 能量评分训练目标表现有效且鲁棒，无需显式密度估计即可实现高质量的多变量校准。
• MQF²避免了预测时长内的误差累积，这是自回归模型的关键局限，同时在单变量指标上保持了具有竞争力的性能。
• 该模型能够直接从分位数函数生成一致的样本路径，这对库存管理等应用中的下游决策至关重要。