[论文解读] Online Learning with Continuous Ranked Probability Score

Vladimir V. V’yugin, В. Г. Трунов|arXiv (Cornell University)|Feb 26, 2019

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出在在线学习的概率预测中使用连续概率评分（CRPS）作为可混合损失函数，使Vovk聚合算法能够用于组合专家预测。该研究建立了与时间无关的遗憾上界，并通过数值实验验证了该方法的有效性。

ABSTRACT

Probabilistic forecasts in the form of probability distributions over future events have become popular in several fields of statistical science. The dissimilarity between a probability forecast and an outcome is measured by a loss function (scoring rule). Popular example of scoring rule for continuous outcomes is the continuous ranked probability score (CRPS). We consider the case where several competing methods produce online predictions in the form of probability distribution functions. In this paper, the problem of combining probabilistic forecasts is considered in the prediction with expert advice framework. We show that CRPS is a mixable loss function and then the time independent upper bound for the regret of the Vovk's aggregating algorithm using CRPS as a loss function can be obtained. We present the results of numerical experiments illustrating the proposed methods.

研究动机与目标

• 为解决在在线学习设置下组合多个专家概率预测的挑战。
• 建立CRPS作为适用于带专家建议的序列预测的可混合损失函数。
• 推导当使用CRPS作为评分规则时，Vovk聚合算法的时间无关遗憾上界。
• 通过概率预测任务的数值实验，对所提方法的性能进行实证评估。

提出的方法

• 将Vovk聚合算法适配于使用CRPS作为损失函数的在线学习概率预测。
• 证明CRPS是可混合损失函数，从而在专家建议框架中实现理论遗憾上界。
• 通过利用CRPS的可混合性，推导出累积遗憾的时间无关上界。
• 将该算法应用于非贝叶斯、在线方式下，按顺序组合多个专家的预测分布。
• 使用CRPS在连续设定下度量预测分布与观测结果之间的差异。
• 通过数值实验验证理论结果，并评估在合成或真实数据上的实际性能。

实验结果

研究问题

• RQ1 在带专家建议的在线学习背景下，连续概率评分（CRPS）是否为可混合损失函数？
• RQ2 当使用CRPS作为损失函数时，能否为Vovk聚合算法推导出时间无关的遗憾上界？
• RQ3 所提方法在在线概率预测中的性能与基线方法相比如何？
• RQ4 该算法在不同数据场景下的预测精度和鲁棒性方面表现出怎样的经验行为？

主要发现

• CRPS被证明是可混合损失函数，使Vovk聚合算法可应用于在线概率预测。
• 当使用CRPS作为损失函数时，推导出聚合算法遗憾的时间无关上界。
• 理论遗憾上界与时间范围无关，表明其具有稳定的长期性能。
• 数值实验证实了所提方法在组合专家预测方面的实际可行性和有效性。
• 该方法在CRPS指标上表现出具有竞争力的性能，证明其在序列概率预测任务中的实用性。
• 结果支持将CRPS作为在线学习框架中概率预测的合理且理论基础坚实的损失函数。