[论文解读] Probabilistic Forecasting and Comparative Model Assessment Based on Markov Chain Monte Carlo Output

Fabian Krüger, Sebastian Lerch+2 more|arXiv (Cornell University)|Aug 24, 2016

Statistical Methods and Inference参考文献 100被引用 25

一句话总结

本文提出了一种基于贝叶斯推断中马尔可夫链蒙特卡洛（MCMC）输出的概率预测一致性框架，利用严格评分规则评估预测准确性。结果表明，在最小假设条件下，连续 ranked 概率评分（CRPS）可确保近似的一致性，其中参数混合方法表现尤为出色，因其充分利用了模型的参数结构。

ABSTRACT

In Bayesian inference, predictive distributions are typically available only through a sample generated via Markov chain Monte Carlo (MCMC) or related algorithms. In this paper, we conduct a systematic analysis of how to make and evaluate probabilistic forecasts from such simulation output. Based on proper scoring rules, we develop a notion of consistency that allows to assess the adequacy of methods for estimating the stationary distribution underlying the simulation output. We then review asymptotic results that account for the salient features of Bayesian posterior simulators, and derive conditions under which choices from the literature satisfy our notion of consistency. Importantly, these conditions depend on the scoring rule being used, such that the choices of approximation method and scoring rule are intertwined. While the logarithmic rule requires fairly stringent conditions, the continuous ranked probability score yields consistent approximations under minimal assumptions. These results are illustrated in a simulation study and an economic data example. Overall, we find that mixture-of-parameters approximations which exploit the parametric structure of Bayesian models perform particularly well.

研究动机与目标

• 开发一个严格框架，用于评估从贝叶斯推断中MCMC输出获得的概率预测的充分性。
• 定义并实现一种基于模拟输出的预测分布近似的一致性概念。
• 研究不同评分规则如何与近似方法相互作用，以确定一致性和预测准确性。
• 在各种评分规则下，评估常见近似技术（尤其是参数混合方法）的性能。
• 通过模拟研究和一个经济数据实例，展示这些理论发现的实际影响。

提出的方法

• 以严格评分规则为基础，评估从MCMC输出中获得的预测密度估计。
• 引入一个正式的一致性概念，确保随着样本量增加，近似方法收敛于真实预测分布。
• 分析在不同评分规则下，基于MCMC的后验模拟器的渐近性质，特别是对数评分和连续 ranked 概率评分（CRPS）。
• 推导出广泛使用的近似方法（如核密度估计、参数混合）满足所提出一致性准则的条件。
• 采用利用贝叶斯模型参数结构的参数混合近似方法，以提高预测准确性。
• 通过模拟研究和使用经济数据的实证应用，验证理论发现。

实验结果

研究问题

• RQ1 哪些评分规则可确保从MCMC输出中一致估计预测分布？
• RQ2 在不同评分规则下，如核密度估计或参数混合方法，不同近似方法的表现如何？
• RQ3 使用连续 ranked 概率评分进行一致概率预测所需的最小正则性条件是什么？
• RQ4 评分规则的选择如何影响基于MCMC的预测推断的有效性和可靠性？
• RQ5 在一致性和准确性方面，参数结构化的近似方法（如参数混合）在多大程度上优于非参数替代方法？

主要发现

• 在最小正则性假设下，连续 ranked 概率评分（CRPS）可确保预测分布近似的稳定性，使其在实际应用中具有鲁棒性。
• 对数评分规则要求更严格的条件以保证一致性，这限制了其在混合较弱或高维后验分布场景中的适用性。
• 利用贝叶斯模型参数形式的参数混合近似方法，在预测准确性和一致性方面始终优于非参数替代方法。
• 理论结果表明，评分规则与近似方法的选择相互依赖，一致性取决于两者的兼容性。
• 模拟研究和经济数据实例的实证验证表明，基于CRPS的方法在多种场景下均保持优异性能。