[论文解读] Uncertainty Quantification for Traffic Forecasting: A Unified Approach

Weizhu Qian, Dalin Zhang+3 more|arXiv (Cornell University)|Aug 11, 2022

Traffic Prediction and Management Techniques被引用 7

一句话总结

本文提出 DeepSTUQ，一种统一的深度学习框架，用于交通预测，可同时量化认知不确定性（epistemic uncertainty）与偶然不确定性（aleatoric uncertainty）。通过结合蒙特卡洛丢弃（Monte Carlo dropout）与自适应权重平均重训练（Adaptive Weight Averaging retraining）及温度校准（Temperature Scaling calibration），该方法仅使用单一模型即实现了点预测与不确定性估计的最先进性能，支持快速训练、低内存占用与高效推理。

ABSTRACT

Uncertainty is an essential consideration for time series forecasting tasks. In this work, we specifically focus on quantifying the uncertainty of traffic forecasting. To achieve this, we develop Deep Spatio-Temporal Uncertainty Quantification (DeepSTUQ), which can estimate both aleatoric and epistemic uncertainty. We first leverage a spatio-temporal model to model the complex spatio-temporal correlations of traffic data. Subsequently, two independent sub-neural networks maximizing the heterogeneous log-likelihood are developed to estimate aleatoric uncertainty. For estimating epistemic uncertainty, we combine the merits of variational inference and deep ensembling by integrating the Monte Carlo dropout and the Adaptive Weight Averaging re-training methods, respectively. Finally, we propose a post-processing calibration approach based on Temperature Scaling, which improves the model's generalization ability to estimate uncertainty. Extensive experiments are conducted on four public datasets, and the empirical results suggest that the proposed method outperforms state-of-the-art methods in terms of both point prediction and uncertainty quantification.

研究动机与目标

• 为解决现有交通预测模型缺乏不确定性量化的问题，这些模型通常仅提供确定性预测。
• 在单一统一框架中同时估计偶然不确定性（数据驱动的变异性）与认知不确定性（模型不确定性）。
• 开发一种方法，在不增加训练多个模型的计算与内存开销的前提下，实现高性能的不确定性估计。
• 通过后处理校准（使用温度校准）提升不确定性估计的泛化能力与校准性。

提出的方法

• 采用时空深度学习主干网络（如图神经网络-卷积神经网络混合模型）以捕捉交通数据中复杂的时空依赖关系。
• 通过混合损失函数训练两个独立的子网络，分别预测交通状态的均值与方差，从而实现偶然不确定性的估计。
• 针对认知不确定性，推理阶段应用蒙特卡洛丢弃以近似贝叶斯推理；同时引入一种新颖的 AWA（自适应权重平均）重训练策略，以在不训练多个网络的前提下增强模型多样性。
• AWA 重训练方法通过聚合多个随机优化轨迹的权重，提升模型泛化能力，以单一模型实现深度集成的效果。
• 在模型预测分布上应用后处理校准步骤，使用温度校准（Temperature Scaling）以提升校准指标（如 PICP 与 MPIW）。
• 整个框架（命名为 DeepSTUQ）端到端训练，支持快速推理与极低的内存占用。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效估计交通预测中的偶然与认知不确定性？
• RQ2 如何在不训练多个模型的前提下高效估计认知不确定性，同时保持高预测多样性？
• RQ3 通过温度校准进行后处理校准，在多大程度上能提升不确定性量化性能？
• RQ4 推理阶段蒙特卡洛采样数量如何影响准确率与推理速度之间的权衡？

主要发现

• DeepSTUQ 在四个公开数据集上，于点预测（MAE、RMSE、MAPE）与不确定性量化（MNLL、PICP、MPIW）方面，均优于最先进确定性与不确定性感知模型。
• 与标准训练相比，AWA 重训练方法使点预测性能提升 0.5%–1.2%（相对值），仅增加 20 个额外训练周期，性能已接近深度集成方法。
• 通过温度校准显著改善了不确定性校准：在 PEMS03 数据集上，PICP 从 94.22% 提升至 94.75%，MPIW 从 74.51 提升至 76.91，表明预测区间覆盖更佳且更紧凑。
• DeepSTUQ 的性能在 10–15 次蒙特卡洛采样后趋于饱和，表明仅需少量采样即可实现高质量的不确定性估计。
• 同时估计认知与偶然不确定性的方法，其性能优于仅考虑单一类型不确定性的方法。
• 由于仅训练单一模型，该方法保持了快速推理与低内存占用，适用于智能交通系统（ITS）应用中的实时部署。