[论文解读] The problem with the Brier score

Stephen Jewson|ArXiv.org|Jan 10, 2004

Meteorological Phenomena and Simulations参考文献 3被引用 13

一句话总结

本文认为，广泛用于气象学中二元概率预测评估的Brier评分在简单情况下会产生反直觉的结果——例如，更倾向于选择一个事件实际发生概率为10%时却预测为0%的预报，而非25%的预报。本文提出以基于似然性的度量方法替代Brier评分，该方法能更好地符合直觉推理与统计原理，尤其在错误预测极端概率（如0%或100%）时施加更严厉的惩罚。

ABSTRACT

The Brier score is frequently used by meteorologists to measure the skill of binary probabilistic forecasts. We show, however, that in simple idealised cases it gives counterintuitive results. We advocate the use of an alternative measure that has a more compelling intuitive justification.

研究动机与目标

• 挑战Brier评分在二元概率预报评估中的持续使用，因其在理想化案例中表现出反直觉行为。
• 揭示Brier评分对零概率预报处理中的根本缺陷，即当此类预报错误时惩罚力度不足。
• 提出一种基于似然性的评分方法，作为Brier评分更直观且统计基础更牢固的替代方案。
• 通过直觉推理与统计理论证明，似然性评分在Brier评分失效的案例中能正确识别出更优预报。

提出的方法

• 本文使用一个简单理想化的例子，事件发生的概率恒为10%，并比较两种恒定预报概率：0%与25%。
• 使用标准公式计算两个预报之间的Brier评分差异：b = <(f - o)²>。
• 引入似然性评分作为替代方案，定义为 L = Π_A f_i × Π_B (1 - f_i)，其中A为事件发生集合，B为未发生集合。
• 推导对数似然性：l = Σ_A ln(f_i) + Σ_B ln(1 - f_i)，以简化预报之间的比较。
• 在该例子中对比Brier评分与似然性评分的结果，表明Brier评分错误地偏好0%预报，而似然性评分正确地偏好25%预报。
• 本文认为，似然性评分更具直观性，因其选择的是对实际观测结果赋予最高概率的预报。

实验结果

研究问题

• RQ1 Brier评分是否在直观判断明确的情况下始终能识别出更优预报？
• RQ2 为何Brier评分在零概率预报错误时未能给予适当惩罚？
• RQ3 基于似然性的评分能否作为Brier评分在二元概率预报中更直观且统计上更可靠的替代方案？
• RQ4 与Brier评分相比，似然性评分如何处理极端预报（如0%或100%）？
• RQ5 是否存在一种度量方法，能更好地同时契合直觉推理与统计理论？

主要发现

• 在事件发生概率为10%的例子中，Brier评分错误地将0%预报识别为优于25%预报，其评分差值为+1/80，偏向0%预报。
• 似然性评分正确识别出25%预报更优，因其对观测结果赋予更高的概率，对所有样本大小均有L₂ > L₁。
• 任何对事件赋予0%或100%概率的预报，其似然性评分均为零（对数似然为-∞），这与直觉一致：此类预报一旦出错即为无效。
• Brier评分依赖概率绝对差值的特性，无法反映直觉认知：0% vs. 10%的预报问题远甚于40% vs. 50%的预报。
• 似然性评分在概念上更简洁直观：其选择的是对实际观测结果赋予最高概率的预报。
• 本文结论认为，应停止使用Brier评分，转而采用基于似然性的度量方法来评估二元概率预报。