[论文解读] Probabilistic Forecasting with Generative Networks via Scoring Rule Minimization

Lorenzo Pacchiardi, Rilwan Adewoyin+2 more|arXiv (Cornell University)|Dec 15, 2021

Neural Networks and Applications被引用 8

一句话总结

该论文提出通过在时间序列上最小化预序评分规则来训练生成神经网络以实现概率预测，避免对抗性训练。该方法在减少超参数调优的同时确保了稳定且校准良好的预测，在不确定性量化方面优于基于 GAN 的方法，尤其在弱混合条件下证明了其一致性。

ABSTRACT

Probabilistic forecasting relies on past observations to provide a probability distribution for a future outcome, which is often evaluated against the realization using a scoring rule. Here, we perform probabilistic forecasting with generative neural networks, which parametrize distributions on high-dimensional spaces by transforming draws from a latent variable. Generative networks are typically trained in an adversarial framework. In contrast, we propose to train generative networks to minimize a predictive-sequential (or prequential) scoring rule on a recorded temporal sequence of the phenomenon of interest, which is appealing as it corresponds to the way forecasting systems are routinely evaluated. Adversarial-free minimization is possible for some scoring rules; hence, our framework avoids the cumbersome hyperparameter tuning and uncertainty underestimation due to unstable adversarial training, thus unlocking reliable use of generative networks in probabilistic forecasting. Further, we prove consistency of the minimizer of our objective with dependent data, while adversarial training assumes independence. We perform simulation studies on two chaotic dynamical models and a benchmark data set of global weather observations; for this last example, we define scoring rules for spatial data by drawing from the relevant literature. Our method outperforms state-of-the-art adversarial approaches, especially in probabilistic calibration, while requiring less hyperparameter tuning.

研究动机与目标

• 解决生成模型在概率预测中对抗性训练带来的不稳定性和对超参数的敏感性。
• 开发一种尊重序列数据时间依赖性的训练框架，与标准 GAN 假设独立同分布数据不同。
• 在高维时空预测（如天气预报）中实现可靠的不确定性量化。
• 在弱混合条件下证明预序评分规则最小化器的一致性，确保渐近正确性。
• 设计适用于空间和时空数据的评分规则，实现对原始观测数据的直接训练，无需数据转换。

提出的方法

• 通过在记录的时间序列上最小化预测-顺序（预序）评分规则来训练生成网络，其中预测基于过去观测结果。
• 使用重参数化技巧，实现对基于生成分布期望定义的评分规则的基于梯度的优化。
• 利用既有的气象学指标（如能量、核函数、变差函数及混合评分）定义高维空间数据的评分规则。
• 采用早停策略，并在每个观测窗口中使用固定数量的生成样本（例如 10 个）以平衡精度与计算成本。
• 无需判别器进行训练，消除了模式崩溃问题，并减少了对大量超参数调优的需求。
• 在严平稳和混合条件下证明最小化器的渐近一致性，将经验预序评分与真实期望评分联系起来。

实验结果

研究问题

• RQ1 生成网络能否在不使用对抗性训练的情况下有效用于概率预测？
• RQ2 最小化预序评分规则是否在时间序列预测中比对抗性训练带来更好的校准性和稳定性？
• RQ3 专为空间数据设计的评分规则能否有效用于高维时空观测数据的生成模型训练？
• RQ4 在不确定性量化和计算效率方面，该方法与最先进的基于 GAN 的方法相比如何？
• RQ5 在弱时间依赖性假设下，预序评分规则的最小化器是否与真实数据生成分布一致？

主要发现

• 所提方法在概率校准方面优于基于 GAN 的方法，尤其在捕捉不确定性方面表现更优，时间序列图中可信区间更窄且更准确。
• 使用评分规则训练仅需测试 6 个学习率值，远低于 GAN 的 49 个，尽管某些情况下每轮训练成本更高，但总计算成本显著降低。
• 能量-变差函数评分和核函数-变差函数评分的总训练时间分别为 24,346 秒和 24,393 秒，低于 WGAN-GP 在 49 个学习率试验下所需的 343,000 秒。
• 即使每个窗口使用 50 个生成样本，能量评分的总计算成本仍为 25,865 秒，低于 WGAN-GP 在相同学习率搜索下的 343,000 秒。
• 该方法实现了稳定训练，未出现模式崩溃；而相同设置下的 GAN 显示出严重的不确定性低估和时间序列图中不合理的预报演化。
• 在严平稳和混合条件下，理论一致性已得到证明，表明当模型设定正确时，预序评分最小化器会收敛至真实参数值。