[论文解读] Robust Generalised Bayesian Inference for Intractable Likelihoods

Takuo Matsubara, Jeremias Knoblauch+2 more|arXiv (Cornell University)|Apr 15, 2021

Statistical Methods and Bayesian Inference被引用 8

一句话总结

本文提出KSD-Bayes，一种基于核Stein差异（KSD）作为损失函数的稳健广义贝叶斯推断方法，适用于似然函数不可计算的模型。该方法通过标准MCMC或共轭先验下的闭式解实现可计算的后验分布，即使在似然函数错误设定的情况下，仍保持一致性、渐近正态性及偏差稳健性。

ABSTRACT

Generalised Bayesian inference updates prior beliefs using a loss function, rather than a likelihood, and can therefore be used to confer robustness against possible mis-specification of the likelihood. Here we consider generalised Bayesian inference with a Stein discrepancy as a loss function, motivated by applications in which the likelihood contains an intractable normalisation constant. In this context, the Stein discrepancy circumvents evaluation of the normalisation constant and produces generalised posteriors that are either closed form or accessible using standard Markov chain Monte Carlo. On a theoretical level, we show consistency, asymptotic normality, and bias-robustness of the generalised posterior, highlighting how these properties are impacted by the choice of Stein discrepancy. Then, we provide numerical experiments on a range of intractable distributions, including applications to kernel-based exponential family models and non-Gaussian graphical models.

研究动机与目标

• 解决似然函数不可计算模型中的贝叶斯推断挑战，其中归一化常数在解析上不可计算。
• 开发一种广义贝叶斯框架，避免依赖似然函数，转而使用基于Stein差异的损失函数。
• 在不依赖对模型错误设定类型先验知识的前提下，确保对模型错误设定的稳健性。
• 为所得广义后验提供一致性、渐近正态性及偏差稳健性等理论保证。
• 通过标准MCMC或共轭先验下的闭式解，实现实际的后验计算。

提出的方法

• 使用核Stein差异（KSD）作为损失函数以定义广义后验，避免对不可计算归一化常数的评估。
• 将KSD应用于参数化模型 $p_\theta(x) = q(x,\theta)/Z(\theta)$，利用Stein算子处理离散与连续域。
• 采用基于核的KSD构造方法，结合加权函数 $M(x)$ 以控制对数据污染的敏感度。
• 在指数族模型下推导共轭先验结构，实现广义后验的闭式解。
• 在非共轭设定下使用哈密顿蒙特卡洛（HMC）进行后验近似。
• 通过引入指示函数加权函数修改核函数，提出稳健的KSD-Bayes，以限制异常配置的影响。

实验结果

研究问题

• RQ1 使用KSD作为损失函数的广义贝叶斯推断能否为不可计算似然函数的模型产生可计算且一致的后验？
• RQ2 KSD核与加权函数的选择如何影响离散模型（如伊辛模型）对数据污染的稳健性？
• RQ3 在模型错误设定下，KSD-Bayes下的广义后验是否仍保持频率学派渐近性质，如一致性与渐近正态性？
• RQ4 无论似然函数是否正确设定，KSD-Bayes框架是否均能实现Bernstein–von Mises结果？
• RQ5 KSD-Bayes存在哪些病态行为与局限性，以及如何通过核设计加以缓解？

主要发现

• KSD-Bayes产生的广义后验为闭式或可通过标准MCMC处理，避免了双重不可计算后验的计算负担。
• 即使似然模型错误设定，该方法仍实现广义后验的一致性与渐近正态性。
• 广义后验表现出偏差稳健性，在数据污染下仍保持准确性，如在 $\epsilon = 0.1$ 污染的伊辛模型中所示。
• 采用加权函数 $M(x)$ 的稳健KSD-Bayes相比标准KSD-Bayes，对异常配置的敏感度显著降低。
• 无论模型是否正确，KSD-Bayes的Bernstein–von Mises结果均成立，表明其渐近频率学派有效性。
• 实证结果证实，无论数据是否清洁，KSD-Bayes与稳健KSD-Bayes均在伊辛模型中将后验质量集中在真实参数 $\theta = 5$ 附近。