[论文解读] Taming the Long Tail of Deep Probabilistic Forecasting

Jedrzej Kozerawski, Mayank Sharan+1 more|arXiv (Cornell University)|Feb 27, 2022

Forecasting Techniques and Applications被引用 6

一句话总结

本文提出Pareto Loss与Kurtosis Loss——两种基于矩的损失函数，通过显式针对预测误差的长尾分布，提升深度概率预测性能。通过广义帕累托分布拟合与四阶矩正则化，强调罕见的高误差场景，显著降低轨迹与时间序列预测中的尾部分布误差，同时不损害平均性能。

ABSTRACT

Deep probabilistic forecasting is gaining attention in numerous applications ranging from weather prognosis, through electricity consumption estimation, to autonomous vehicle trajectory prediction. However, existing approaches focus on improvements on the most common scenarios without addressing the performance on rare and difficult cases. In this work, we identify a long tail behavior in the performance of state-of-the-art deep learning methods on probabilistic forecasting. We present two moment-based tailedness measurement concepts to improve performance on the difficult tail examples: Pareto Loss and Kurtosis Loss. Kurtosis loss is a symmetric measurement as the fourth moment about the mean of the loss distribution. Pareto loss is asymmetric measuring right tailedness, modeling the loss using a generalized Pareto distribution (GPD). We demonstrate the performance of our approach on several real-world datasets including time series and spatiotemporal trajectories, achieving significant improvements on the tail examples.

研究动机与目标

• 识别并解决深度概率预测中长期尾部行为的问题，即模型在罕见但关键的预测情形下失效。
• 在不损害平均性能的前提下，提升模型在困难、尾部案例上的表现。
• 开发基于矩的损失函数，具备理论基础、可解释性与在长尾误差分布预测中的有效性。
• 在包括时间序列与时空轨迹在内的多样化真实世界数据集中，证明这些损失的有效性。
• 倡导在评估中同时使用尾部分布指标（如VaR95、VaR99）与平均指标，以检测预测系统中的长尾问题。

提出的方法

• Pareto Loss 使用广义帕累托分布（GPD）对损失分布的尾部进行建模，实现对高误差样本的非对称加权。
• 该方法将损失表述为偏移矩的加权和，其边际在超过阈值后趋于饱和，以稳定极端情况下的训练。
• Kurtosis Loss 利用损失分布的四阶中心矩来度量并对称地惩罚重尾行为。
• 两种损失均具备可微性，可作为正则化或损失加权机制，无缝集成至现有深度概率预测框架中。
• 通过提升尾部样本在损失函数中的有效贡献，将它们在训练中视为高优先级。
• 超参数经调优以平衡对尾部的强调与泛化能力，消融实验显示Kurtosis Loss对超参较敏感，而Pareto Loss表现更稳健。

Figure 1: Log-log plot of error distribution for trajectory prediction on the ETH-UCY dataset using SoTA(Traj++EWTA). Also shown is a tail scenario with predictions using Traj++EWTA [purple] and Traj++EWTA+Pareto Margin Loss (ours) [teal].

实验结果

研究问题

• RQ1 在不同真实世界数据集上，SOTA深度概率预测模型中的长尾误差行为如何表现？
• RQ2 基于矩的损失函数（如Kurtosis Loss与Pareto Loss）能否有效提升罕见高误差预测案例的性能？
• RQ3 Pareto Loss与Kurtosis Loss在降低极端误差（如VaR99）与中等尾部分布误差（如VaR95）方面的能力如何比较？
• RQ4 这些损失在多大程度上提升了长期预测性能，尤其是在预测时域延长时？
• RQ5 这些方法能否在自动驾驶轨迹预测等高安全性关键应用中提升模型可靠性，同时不损害平均性能？

主要发现

• Pareto Loss（PLM）在所有指标上均表现出最一致的改进，在测试的四个数据集中，其在尾部与平均性能上均优于基线模型。
• Kurtosis Loss 显著降低了最坏情况下的误差，在VaR99与Max指标上表现最佳，表明其对极端尾部分布事件具有显著影响。
• 在ETH-UCY Zara1数据集上，两种方法均降低了最误差最大的前5%预测的FDE（最终位移误差），且在更长时域下改进最为显著。
• 长时程预测的误差分布显示尾部进一步恶化，证实尾部误差会随时间累积，因此必须加以解决以实现可靠的长期预测。
• Pareto Loss 在尾部分布中提供了更稳定且可扩展的改进，而Kurtosis Loss对极端异常值更敏感，因此更适合用于最坏情况下的鲁棒性保障。
• 结果表明，集成尾部感知损失可显著提升自动驾驶与电网异常检测等高安全性预测任务的可靠性。

Figure 2: Log-log plots of distribution of ground truth labels for the time series [Electricity: Top left, Traffic: Top right] and trajectory [ETH-UCY: Bottom left, nuScenes: Bottom right] forecasting datasets. The value for time series datasets represents energy and occupancy and for the trajectory