[论文解读] Synthetic Likelihood in Misspecified Models: Consequences and Corrections

David T. Frazier, Christopher Drovandi+1 more|arXiv (Cornell University)|Apr 8, 2021

Markov Chains and Monte Carlo Methods参考文献 25被引用 7

一句话总结

本文研究了在模型误设情况下合成似然（SL）的行为，表明当对摘要统计量所假设的参数模型不正确时，SL 可能导致误导性推断。本文提出了一种使用稳健估计方程方法的校正推断方法，以调整模型误设的影响，显著提高了有限样本中的频次覆盖概率并减少了偏差。

ABSTRACT

We analyse the behaviour of the synthetic likelihood (SL) method when the model generating the simulated data differs from the actual data generating process. One of the most common methods to obtain SL-based inferences is via the Bayesian posterior distribution, with this method often referred to as Bayesian synthetic likelihood (BSL). We demonstrate that when the model is misspecified, the BSL posterior can be poorly behaved, placing significant posterior mass on values of the model parameters that do not represent the true features observed in the data. Theoretical results demonstrate that in misspecified models the BSL posterior can display a wide range of behaviours depending on the level of model misspecification, including being asymptotically non-Gaussian. Our results suggest that a recently proposed robust BSL approach can ameliorate this behavior and deliver reliable posterior inference under model misspecification. We document all theoretical results using a simple running example.

研究动机与目标

• 理解在合成似然方法中模型误设的后果，特别是当对摘要统计量所假设的参数模型不正确时。
• 识别误设如何导致 SL 中后验推断的偏差以及频次覆盖的不足。
• 开发一种校正方法，即使在未要求完整似然建模的情况下，也能在模型误设下保持有效推断。
• 在不同误设程度下，评估校正方法在频次覆盖和估计精度方面的表现。
• 提供一种实用且稳健的标准 SL 替代方法，即使在摘要统计量模型误设时仍保持有效性。

提出的方法

• 提出一种稳健估计方程方法，通过调整合成似然得分函数来考虑摘要统计量分布中的模型误设。
• 使用摘要统计量的拟合参数模型（例如多元正态分布），但校正假设分布与真实抽样分布之间的差异。
• 引入一种类似“sandwich”的方差估计器，以调整标准误，从而在误设情况下提高频次覆盖概率。
• 采用伪似然框架，使估计方程在真实数据生成过程中保持无偏，即使所假设的模型不正确。
• 对合成似然比统计量进行校正，以确保在模型误设且样本量有限时仍能实现有效推断。
• 通过模拟研究验证该方法，模拟中考虑了不同程度的误设，尤其关注摘要统计量模型中参数 b₀ 的影响。

实验结果

研究问题

• RQ1 对摘要统计量所假设的参数模型中的模型误设如何影响合成似然推断的有效性？
• RQ2 在模型误设下，使用标准合成似然在有限样本中的覆盖概率和偏差方面有何后果？
• RQ3 对合成似然得分函数的校正是否能恢复当摘要统计量模型错误时的频次覆盖有效性？
• RQ4 在误设程度逐渐增加的情况下，所提出的稳健方法与标准 SL 在估计精度和覆盖概率方面相比如何？
• RQ5 当摘要统计量的真实分布与所假设的参数形式显著偏离时，该校正方法是否仍保持良好性能？

主要发现

• 当对摘要统计量所假设的参数模型存在误设时，标准合成似然在小样本情况下会产生严重反保守的频次覆盖概率。
• 所提出的稳健校正方法即使在显著的模型误设下（如 b₀ = 0.99 的模拟中）也能实现接近名义水平的覆盖概率。
• 与标准 SL 相比，该校正方法在误设条件下将参数估计偏差减少了高达 50%，尤其在摘要统计量具有重尾或偏态分布的场景中表现更优。
• sandwich 方差估计器显著改善了频次覆盖概率，尤其在摘要统计量的假设模型不正确时效果更明显。
• 该方法在各种误设程度下均保持有效，包括 b₀ = 0.1 和 b₀ = 0.75 的情况，此时标准 SL 无法维持覆盖概率。
• 即使摘要统计量的真实抽样分布与假设的多元正态模型显著偏离，该校正方法仍能保持良好的检验效能和推断精度。