[论文解读] Retrospective Evaluation of the Five-Year and Ten-Year CSEP-Italy Earthquake Forecasts

Maximilian J. Werner, J. D. Zechar+2 more|arXiv (Cornell University)|Mar 4, 2010

earthquake and tectonic studies参考文献 10被引用 6

一句话总结

本研究通过两个意大利地震目录（CPTI08 和 CSI 1.1）对 CSEP-Italy 实验中的 12 个非时间依赖性概率地震预测模型进行了回顾性评估，时间跨度为 5 年和 10 年。结果表明，有四个预测模型未能充分预测大震级事件（ML >7），主要原因是 b 值错误或震级分布衰减过快，凸显了模型校准中的缺陷，并强调了回顾性测试在前瞻性评估前提升预测质量的价值。

ABSTRACT

On 1 August 2009, the global Collaboratory for the Study of Earthquake Predictability (CSEP) launched a prospective and comparative earthquake predictability experiment in Italy. The goal of the CSEP-Italy experiment is to test earthquake occurrence hypotheses that have been formalized as probabilistic earthquake forecasts over temporal scales that range from days to years. In the first round of forecast submissions, members of the CSEP-Italy Working Group presented eighteen five-year and ten-year earthquake forecasts to the European CSEP Testing Center at ETH Zurich. We considered the twelve time-independent earthquake forecasts among this set and evaluated them with respect to past seismicity data from two Italian earthquake catalogs. In this article, we present the results of tests that measure the consistency of the forecasts with the past observations. Besides being an evaluation of the submitted time-independent forecasts, this exercise provided insight into a number of important issues in predictability experiments with regard to the specification of the forecasts, the performance of the tests, and the trade-off between the robustness of results and experiment duration. We conclude with suggestions for the future design of earthquake predictability experiments.

研究动机与目标

• 评估非时间依赖性概率地震预测模型与意大利历史地震活动的一致性。
• 通过回顾性测试识别预测模型中的技术或概念性缺陷，以在前瞻性评估前进行改进。
• 基于回顾性测试中的表现，向建模者提供反馈，以提升预测质量。
• 评估测试方法的稳健性，以及实验持续时间与结果可靠性之间的权衡。
• 通过识别预测规范与评估中的关键挑战，为未来地震可预测性实验的设计提供参考。

提出的方法

• 使用两个意大利地震目录（CPTI08 和 CSI 1.1）对 CSEP-Italy 实验中提交的 12 个非时间依赖性预测模型进行回顾性评估。
• 应用 M 检验和似然比检验等统计方法，评估预测结果与实际地震活动的一致性。
• 利用苏黎世联邦理工学院（ETH Zurich）的 CSEP-Italy 测试框架，对 1901–2007 和 1950–2007 两个目标时间段的预测结果进行评估。
• 将预测的震级分布与实际地震活动进行比较，特别关注大震级事件（ML >7）。
• 识别出特定模型的错误，如 b 值错误或震级概率分布衰减过快。
• 使用似然比和集中度图来量化预测表现，并检测地震活动的系统性低估或高估。

实验结果

研究问题

• RQ1 非时间依赖性概率地震预测模型在 5 年和 10 年时间间隔内，对意大利实际地震活动的预测效果如何？
• RQ2 哪些预测模型未能充分预测大震级地震（ML >7），其失败的根本原因是什么？
• RQ3 回顾性测试在多大程度上揭示了预测提交中存在技术错误或错误的模型假设？
• RQ4 不同地震目录（CPTI08 与 CSI 1.1）如何影响相同预测模型的评估结果？
• RQ5 回顾性评估能否作为一项有意义的质量控制步骤，在前瞻性测试前提升预测的可靠性？

主要发现

• 在 1901–2007 年期间，四个预测模型——Akinci-et-al.Hazgridx、Nanjo-et-al.RI、Chan-et-al.HzaTI 和 Meletti-et-al.MPS04——在 M 检验中失败，表明其对大震级事件的预测能力较差。
• Akinci-et-al.Hazgridx 和 Nanjo-et-al.RI 失败的主要原因是其 Gutenberg-Richter 分布中 b 值过高，导致大震级事件被低估。
• Chan-et-al.HzaTI 的非参数化震级分布衰减过快，低估了大震级事件的概率。
• Meletti-et-al.MPS04 在特定特征震级处表现出较高的概率，但在中间震级区间赋予了极低的概率，导致拟合效果差。
• 尽管在 1901–2007 年期间表现不佳，这些预测模型在 1950–2007 年期间通过了检验，表明 1950 年以前的数据质量与不确定性可能影响了结果。
• 回顾性评估成功识别出模型缺陷，促使六个模型进行了修订，两个新模型被提交，证明了其在提升预测质量方面的价值。