[论文解读] Validation of Approximate Likelihood and Emulator Models for Computationally Intensive Simulations

Niccolò Dalmasso, Ann B. Lee+4 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 68被引用 4

一句话总结

本文提出了一种统计框架，用于验证计算成本高昂的模拟中的近似似然和代理模型，采用基于回归的两样本检验来检测分布差异并识别拟合不良区域。该方法利用置换检验，并将检验效能与回归模型的准确性关联，从而实现全局拟合优度评估与参数空间及特征空间中的局部诊断。

ABSTRACT

Complex phenomena in engineering and the sciences are often modeled with computationally intensive feed-forward simulations for which a tractable analytic likelihood does not exist. In these cases, it is sometimes necessary to estimate an approximate likelihood or fit a fast emulator model for efficient statistical inference; such surrogate models include Gaussian synthetic likelihoods and more recently neural density estimators such as autoregressive models and normalizing flows. To date, however, there is no consistent way of quantifying the quality of such a fit. Here we propose a statistical framework that can distinguish any arbitrary misspecified model from the target likelihood, and that in addition can identify with statistical confidence the regions of parameter as well as feature space where the fit is inadequate. Our validation method applies to settings where simulations are extremely costly and generated in batches or "ensembles" at fixed locations in parameter space. At the heart of our approach is a two-sample test that quantifies the quality of the fit at fixed parameter values, and a global test that assesses goodness-of-fit across simulation parameters. While our general framework can incorporate any test statistic or distance metric, we specifically argue for a new two-sample test that can leverage any regression method to attain high power and provide diagnostics in complex data settings.

研究动机与目标

• 为解决在计算成本高昂的模拟中缺乏一致方法来验证近似似然和代理模型的问题。
• 以统计信心区分模型误设与真实似然。
• 识别代理模型在参数空间和特征空间中拟合不足的具体区域。
• 提供一个适用于各种代理模型（包括高斯合成似然和神经密度估计器）的通用框架。
• 提供一个拟合优度检验，回答“模型是否足够好”这一问题，而不仅仅是相对性能比较。

提出的方法

• 提出一种基于回归方法的两样本检验，用于比较真实模拟器分布与代理模型分布。
• 将两样本检验重新表述为二分类问题，其中Y表示样本来源（模拟器 vs. 代理模型）。
• 使用检验统计量 $ \widehat{\mathcal{T}} = \frac{1}{n}\sum_{i=1}^{n}(\widehat{m}(\mathbf{X}_i) - \widehat{\pi}_1)^2 $，其中 $ \widehat{m} $ 估计样本属于代理模型分布的概率。
• 采用置换程序计算p值，确保在无需参数假设的情况下实现有效推断。
• 将检验效能与回归估计器的均方积误差（MISE）关联，确保当回归模型拟合良好时检验效能较高。
• 通过检查 $ |\widehat{m}(\mathbf{x}) - \widehat{\pi}_1| $ 实现局部诊断，该值可指示特征空间中局部拟合质量。

实验结果

研究问题

• RQ1 当真实似然不可求且模拟计算成本高昂时，能否一致地验证近似似然或代理模型？
• RQ2 如何检测并定位参数空间和特征空间中代理模型与模拟器分布之间的差异？
• RQ3 何种统计检验可提供拟合优度的全局评估，同时在复杂数据设置中保持高统计效能？
• RQ4 回归方法的选择如何影响验证检验的效能与可靠性？
• RQ5 我们能否在相对损失度量之外，区分“足够好”的模型与仍需改进的模型？

主要发现

• 所提出的基于回归的两样本检验能有效检测模拟器输出与代理模型输出之间的分布差异，即使在高维或复杂特征空间中亦然。
• 检验效能与所用回归模型的MISE直接相关，即回归性能越好，统计效能越高。
• 通过 $ |\widehat{m}(\mathbf{x}) - \widehat{\pi}_1| $ 的大小可识别代理模型拟合的局部差异，从而突出特征空间中拟合不良的区域。
• 基于置换的p值确保了无需分布假设的有效推断，增强了方法的稳健性。
• 该框架在合成数据和真实宇宙学数据示例中成功验证了模型，展示了其实际应用价值。
• 与标准损失函数（如KL散度）相比，该方法提供了拟合质量的绝对度量，而非仅相对性能比较，因而表现更优。