[论文解读] Statistical uncertainty analysis for small-sample, high log-variance data: Cautions for bootstrapping and Bayesian bootstrapping

Barmak Mostofian, Daniel M. Zuckerman|arXiv (Cornell University)|Jun 5, 2018

Statistical Methods and Inference参考文献 25被引用 4

一句话总结

本文识别出在小样本、高对数方差数据中，标准自助法存在一个关键偏差——在对数空间中人为地产生过低的置信区间下限，同时表明贝叶斯自助法能提供更可靠的不确定性估计。作者警告，在分子模拟中对速率常数进行分析时，不应过度依赖标准自助法，因为此类数据跨越多个数量级，且物理约束要求置信区间必须为正。

ABSTRACT

Recent advances in molecular simulations allow the evaluation of previously unattainable observables, such as rate constants for protein folding. However, these calculations are usually computationally expensive and even significant computing resources may result in a small number of independent estimates spread over many orders of magnitude. Such small-sample, high "log-variance" data are not readily amenable to analysis using the standard uncertainty (i.e., "standard error of the mean") because unphysical negative limits of confidence intervals result. Bootstrapping, a natural alternative guaranteed to yield a confidence interval within the minimum and maximum values, also exhibits a striking systematic bias of the lower confidence limit in log space. As we show, bootstrapping artifactually assigns high probability to improbably low mean values. A second alternative, the Bayesian bootstrap strategy, does not suffer from the same deficit and is more logically consistent with the type of confidence interval desired. The Bayesian bootstrap provides uncertainty intervals that are more reliable than those from the standard bootstrap method, but must be used with caution nevertheless. Neither standard nor Bayesian bootstrapping can overcome the intrinsic challenge of under-estimating the mean from small-size, high log-variance samples. Our conclusions are based on extensive analysis of model distributions and re-analysis of multiple independent atomistic simulations. Although we only analyze rate constants, similar considerations will apply to related calculations, potentially including highly non-linear averages like the Jarzynski relation.

研究动机与目标

• 评估在分子模拟中常见的小样本、高对数方差数据的置信区间可靠性。
• 识别标准自助法在对数空间中产生非物理性、过低的置信区间下限的系统性偏差。
• 比较标准自助法与贝叶斯自助法在估计正偏态、跨越多个数量级的数据的不确定性方面的表现。
• 为计算生物物理学中速率常数及类似非线性可观测量的不确定性量化提供指导。

提出的方法

• 作者从三种连续概率分布（对数正态分布、均匀分布和指数分布）中生成合成数据，通过调节对数方差来模拟真实世界中的分子模拟数据。
• 在多个样本量（n = 5 至 50）下，分别应用标准自助法和贝叶斯自助法来估计 95% 置信区间与可信区间。
• 通过实际覆盖概率（置信区间包含真实均值的频率）以及半最大累积分布函数（CDF）比值来评估区间界限的偏差。
• 研究还包括对真实加权集合（WE）模拟中蛋白质折叠速率常数的重新分析，比较自助法与贝叶斯自助法的区间结果。
• 采用对数空间变换来评估区间行为，特别是标准自助法低估下限的趋势。
• 计算对数标准差（σ_log(x)）、偏度和超额峰度等统计指标，以表征数据分布及其对自助法性能的影响。

实验结果

研究问题

• RQ1 标准自助法是否能为小样本、高对数方差数据（尤其是在对数空间中）提供可靠的置信区间？
• RQ2 在高方差、跨越多个数量级的数据集中，标准自助法的置信区间下限与真实均值相比如何？
• RQ3 贝叶斯自助法是否能缓解标准自助法在该类数据中观察到的系统性偏差？
• RQ4 在小样本、高对数方差的情境下，两种方法在多大程度上低估了真实均值？
• RQ5 标准自助法与贝叶斯自助法的实际覆盖率与它们名义上的 95% 置信水平相比如何？

主要发现

• 对于名义上的 95% 置信区间，标准自助法的实际覆盖率仅为 44.2% 至 92.3%，表明存在显著的覆盖不足。
• 标准自助法的置信区间下限在对数空间中系统性地被向下偏移，有时低至多个数量级，导致对极不可能的低均值赋予高概率。
• 贝叶斯自助法实现了更好的实际覆盖率（71.4% 至 91.8%），且下限偏差显著减小，其半最大 CDF 比值为 1.0，而标准自助法为 0.19。
• 在真实蛋白质折叠速率常数数据中，标准自助法的 95% 置信区间下限在 System A 中比真实均值小了 10^17 倍，而贝叶斯自助法的结果则更接近真实值。
• 两种方法均未能完全纠正小样本、高对数方差样本中均值低估的根本问题，但贝叶斯自助法在逻辑上更一致且更可靠。
• 本研究证实，两种方法均无法克服小样本、高对数方差数据中均值低估的根本挑战，但贝叶斯自助法是更具说服力的选择。