[论文解读] Multivariate Forecasting Evaluation: On Sensitive and Strictly Proper Scoring Rules

Florian Ziel, Kevin Berk|arXiv (Cornell University)|Oct 16, 2019

Forecasting Techniques and Applications被引用 13

一句话总结

本文提出了一种基于对 copula 的新型评分规则，用于多变量概率预测，可增强对依赖结构错误的敏感性，解决了能量评分等广泛使用评分规则的局限性。通过模拟和真实数据验证表明，所提出的 copula 评分能有效区分依赖结构正确与错误的模型，而能量评分尽管此前对其在依赖性方面的区分能力存在质疑，依然表现出良好的有效性。

ABSTRACT

In recent years, probabilistic forecasting is an emerging topic, which is why there is a growing need of suitable methods for the evaluation of multivariate predictions. We analyze the sensitivity of the most common scoring rules, especially regarding quality of the forecasted dependency structures. Additionally, we propose scoring rules based on the copula, which uniquely describes the dependency structure for every probability distribution with continuous marginal distributions. Efficient estimation of the considered scoring rules and evaluation methods such as the Diebold-Mariano test are discussed. In detailed simulation studies, we compare the performance of the renowned scoring rules and the ones we propose. Besides extended synthetic studies based on recently published results we also consider a real data example. We find that the energy score, which is probably the most widely used multivariate scoring rule, performs comparably well in detecting forecast errors, also regarding dependencies. This contradicts other studies. The results also show that a proposed copula score provides very strong distinction between models with correct and incorrect dependency structure. We close with a comprehensive discussion on the proposed methodology.

研究动机与目标

• 为解决多变量概率预测中缺乏有效评估方法的问题，特别是评估依赖结构方面的问题。
• 挑战先前研究中对能量评分检测依赖结构差异能力的普遍怀疑。
• 基于对 copula 理论，开发一种严格 proper 的评分规则，使其对依赖结构错误高度敏感。
• 提供一个灵活的框架，结合边缘分布评分与对 copula 评分，实现对多变量预测的全面评估。
• 通过模拟数据、真实世界数据（航空乘客数据）以及统计检验（Diebold-Mariano 检验）验证所提出方法的有效性。

提出的方法

• 利用 Sklar 定理将多变量分布分解为边缘分布和对 copula，其中对 copula 唯一地刻画了依赖结构。
• 提出一种基于对 copula 的新型严格 proper 评分规则，称为 '对 copula 评分'，用于评估依赖结构的准确性。
• 将对 copula 评分与边缘评分规则（如能量评分、对数评分）结合，形成联合的、严格 proper 的评分规则，用于完整的多变量评估。
• 采用高效的评分规则估计技术，包括经验似然和基于模拟的方法，以确保实际应用的可行性。
• 应用 Diebold-Mariano 检验对不同评分规则在模型间的性能进行统计比较。
• 通过具有已知依赖结构（如高斯对 copula、t-对 copula）的模拟研究以及真实数据（航空乘客数量）评估方法性能。

实验结果

研究问题

• RQ1 正如先前研究所述，能量评分是否真的缺乏对依赖结构差异的敏感性？
• RQ2 能否构建一种基于对 copula 的评分规则，使其严格 proper 且对依赖结构错误高度敏感？
• RQ3 所提出的边缘-对 copula 评分与既有的多变量评分规则（如能量评分、变差分值评分）相比，在检测预测误差方面表现如何？
• RQ4 对 copula 评分在区分依赖结构正确与错误的模型方面，其实际表现如何？
• RQ5 在模型设定错误和真实世界预测场景下，所提出的评分规则的稳健性如何？

主要发现

• 能量评分在检测与依赖结构相关的预测误差方面表现良好，与先前认为其敏感性差的结论相矛盾。
• 所提出的对 copula 评分在区分依赖结构正确与错误的模型方面表现出色，尤其在检测错误的相依性（如相关性）方面尤为突出。
• 在模拟研究中，对 copula 评分在识别依赖结构错误方面始终优于能量评分，尤其是在非高斯和重尾分布设定下。
• Diebold-Mariano 检验结果表明，在中等样本量下，评估具有错误对 copula 的模型时，对 copula 评分的性能显著优于其他评分规则。
• 边缘分布与对 copula 评分的结合形成了一种严格 proper 的评分规则，对边缘分布和依赖结构错误均具有高度敏感性，从而整体提升了预测评估效果。
• 使用航空乘客数据的真实数据案例验证了对 copula 评分在实际多变量预测场景中的方法优势。