[论文解读] Statistical Uncertainty Analysis for Stochastic Simulation

Wei Xie, Nelson, Barry L.+1 more|arXiv (Cornell University)|Nov 9, 2020

Simulation Techniques and ApplicationsDecision Sciences参考文献 31被引用 22

一句话总结

本文提出了一种元模型辅助的自助法，通过联合考虑输入不确定性（来自数据驱动的分布估计）和模拟不确定性（来自有限次重复实验），量化了随机模拟中的总统计不确定性。利用随机克里金法建模响应面，并通过自助重采样捕捉输入变异性，该方法生成的置信区间在元模型不确定性较高时依然保持稳健，其方差分解可识别出减少不确定性需要更多数据还是更多模拟。

ABSTRACT

When we use simulation to evaluate the performance of a stochastic system, the simulation often contains input distributions estimated from real-world data; therefore, there is both simulation and input uncertainty in the performance estimates. Ignoring either source of uncertainty underestimates the overall statistical error. Simulation uncertainty can be reduced by additional computation (e.g., more replications). Input uncertainty can be reduced by collecting more real-world data, when feasible. This paper proposes an approach to quantify overall statistical uncertainty when the simulation is driven by independent parametric input distributions; specifically, we produce a confidence interval that accounts for both simulation and input uncertainty by using a metamodel-assisted bootstrapping approach. The input uncertainty is measured via bootstrapping, an equation-based stochastic kriging metamodel propagates the input uncertainty to the output mean, and both simulation and metamodel uncertainty are derived using properties of the metamodel. A variance decomposition is proposed to estimate the relative contribution of input to overall uncertainty; this information indicates whether the overall uncertainty can be significantly reduced through additional simulation alone. Asymptotic analysis provides theoretical support for our approach, while an empirical study demonstrates that it has good finite-sample performance.

研究动机与目标

• 解决在同时存在输入不确定性和模拟不确定性时，随机模拟中总统计误差被低估的问题。
• 开发一种置信区间估计器，同时考虑输入不确定性（来自有限的真实世界数据）和元模型不确定性（来自响应面近似）。
• 提供一种方差分解度量，量化输入不确定性对总不确定性的相对贡献，指导决策：是收集更多数据还是运行更多模拟。
• 确保在有限样本下具有稳健性能，尤其是在计算预算紧张和自助法矩不稳定的情况下。

提出的方法

• 通过真实世界数据的非参数自助重采样量化输入不确定性，生成多个参数估计。
• 使用随机克里金法元模型拟合模拟输出，覆盖自助重采样后的参数设置，将输入不确定性传播至输出均值。
• 元模型不确定性源自随机克里金模型的预测方差，该方差同时考虑了估计误差和预测误差。
• 基于元模型特性和自助法方差，构建包含输入和元模型不确定性的联合置信区间（CI+）。
• 应用方差分解以估计输入不确定性对总不确定性的相对贡献，定义为输入方差与总方差的比值。
• 在真实响应面为已知参数的高斯过程的假设下，证明了置信区间的渐近一致性。

实验结果

研究问题

• RQ1 能否构建一个同时考虑随机模拟输出中输入不确定性和元模型不确定性的置信区间？
• RQ2 当元模型不确定性显著且计算预算有限时，该方法在有限样本下的表现如何？
• RQ3 输入不确定性在多大程度上主导了总不确定性？这一程度能否被量化，以指导在数据收集与模拟运行之间的资源分配？
• RQ4 当真实世界数据样本较小时导致自助法矩不稳定时，该方法是否仍能保持适当的覆盖概率？

主要发现

• 所提出的置信区间（CI+）在各种场景下均保持接近名义水平的覆盖概率，包括元模型不确定性较高的情况；而基线方法（CI0）在元模型不确定性不可忽略时失效。
• 方差分解比 $\widehat{\sigma}_{I}/\widehat{\sigma}_{T}$ 有效估计了输入不确定性对总不确定性的相对贡献，当元模型不确定性较低时接近 1.0，并随真实世界数据增多而下降。
• 当 $m = 5000$ 个真实世界数据点时，$\widehat{\sigma}_{I}/\widehat{\sigma}_{T}$ 达到 0.974，表明输入不确定性是主要误差来源，且 CI0 和 CI+ 均实现了接近名义水平的覆盖。
• 即使在自助法矩不稳定的情况下（如 $m = 50$），该方法仍表现出保守性：4.4% 的 CI0 和 3.8% 的 CI+ 的下界高于真实均值，表明存在过度覆盖而非覆盖不足。
• 与先前方法不同，该方法无需通过顺序实验来降低元模型不确定性，因此适用于计算成本高昂的模拟。
• 实证结果表明，该方法在具有混合离散与连续输入分布且计算约束紧密的复杂问题上表现出良好的有限样本性能。