[论文解读] Simulation-efficient shortest probability intervals

Ying Liu, Andrew Gelman+1 more|arXiv (Cornell University)|Feb 8, 2013

Statistical Methods and Inference参考文献 8被引用 4

一句话总结

本文提出了一种基于自助法的二次规划方法——Spin（Simulation-efficient Shortest Probability Intervals），用于从MCMC模拟中计算更稳定、更精确的最高后验密度（HPD）区间。通过最优加权顺序统计量，Spin相比经验最短区间显著降低了蒙特卡洛误差，尤其在有效样本量较低时表现更优，同时保持了一致性，并在偏态后验分布中优于中心区间。

ABSTRACT

Bayesian highest posterior density (HPD) intervals can be estimated directly from simulations via empirical shortest intervals. Unfortunately, these can be noisy (that is, have a high Monte Carlo error). We derive an optimal weighting strategy using bootstrap and quadratic programming to obtain a more compu- tationally stable HPD, or in general, shortest probability interval (Spin). We prove the consistency of our method. Simulation studies on a range of theoret- ical and real-data examples, some with symmetric and some with asymmetric posterior densities, show that intervals constructed using Spin have better cov- erage (relative to the posterior distribution) and lower Monte Carlo error than empirical shortest intervals. We implement the new method in an R package (SPIn) so it can be routinely used in post-processing of Bayesian simulations.

研究动机与目标

• 解决后验模拟有效样本量较低时，经验最短区间蒙特卡洛误差过高的问题。
• 开发一种计算高效且一致的方法，用于从MCMC输出中估计HPD区间，尤其适用于偏态和有界后验分布。
• 提供一种实用的中心区间替代方案，能更好地捕捉偏态后验分布中的众数和最高密度区域。
• 在不增加模拟成本的前提下，提升常规贝叶斯数据分析中后验区间总结的可靠性。

提出的方法

• 以后验模拟的样本顺序统计量作为构建最短区间的输入。
• 应用自助重抽样方法，估计经验最短区间的抽样变异性。
• 采用二次规划方法，寻找使估计误差最小化的顺序统计量最优权重。
• 通过加权顺序统计量的平均值，生成更稳定、更精确的最短区间估计。
• 默认设置带宽参数 b = √n，以在高密度区和低密度区之间实现稳定性与噪声抑制的稳健平衡。
• 在R语言包（SPIn）中实现该方法，用于常规后处理贝叶斯模拟结果。

实验结果

研究问题

• RQ1 对顺序统计量进行加权组合，是否能降低MCMC模拟中估计最短概率区间的蒙特卡洛误差？
• RQ2 在覆盖概率和均方误差方面，所提出的Spin方法相较于经验最短区间和中心区间的表现如何？
• RQ3 该方法在对称与非对称后验分布中是否均保持一致性和稳定性？
• RQ4 Spin能否有效处理受边界影响的后验分布，例如在零处有界的方差参数？
• RQ5 在存在高MCMC烧除期或低有效样本量的场景下，Spin的计算成本是否合理？

主要发现

• 在有效样本量较小时，Spin区间的蒙特卡洛误差显著低于经验最短区间。
• 在非对称后验分布中，Spin区间比中心区间更短，且能更准确地捕捉最高密度区域，而中心区间可能排除靠近边界的高后验密度区域。
• 在对称后验分布中，Spin在均方根误差和覆盖概率方面与中心区间表现相当。
• 该方法具有模拟一致性，随着模拟次数增加，其估计值会收敛至真实的HPD区间。
• 默认带宽参数 b = √n 在不同分布形态下均提供了在稳定性与降噪之间的稳健平衡。
• 实证研究与真实数据案例（包括层次模型和过度离势参数）表明，Spin提供的后验总结比标准经验HPD区间更可靠。