[论文解读] Variational Bayesian Monte Carlo with Noisy Likelihoods

Luigi Acerbi|Työväentutkimus Vuosikirja|Jun 15, 2020

Gaussian Processes and Bayesian Inference参考文献 56被引用 28

一句话总结

本文将变分贝叶斯蒙特卡洛（vbmc）方法扩展至处理噪声性对数似然评估，通过引入稳健的全局获取函数——期望信息增益（eig）与变分四分位距（viqr）——实现了在基于模拟的模型中高效、样本高效的贝叶斯推断。该方法在一项新颖且具有挑战性的现实神经科学模型基准上达到最先进性能，优于局部获取函数及其他基于代理的算法，同时保持较低计算成本。

ABSTRACT

Variational Bayesian Monte Carlo (VBMC) is a recently introduced framework that uses Gaussian process surrogates to perform approximate Bayesian inference in models with black-box, non-cheap likelihoods. In this work, we extend VBMC to deal with noisy log-likelihood evaluations, such as those arising from simulation-based models. We introduce new `global' acquisition functions, such as expected information gain (EIG) and variational interquantile range (VIQR), which are robust to noise and can be efficiently evaluated within the VBMC setting. In a novel, challenging, noisy-inference benchmark comprising of a variety of models with real datasets from computational and cognitive neuroscience, VBMC+VIQR achieves state-of-the-art performance in recovering the ground-truth posteriors and model evidence. In particular, our method vastly outperforms `local' acquisition functions and other surrogate-based inference methods while keeping a small algorithmic cost. Our benchmark corroborates VBMC as a general-purpose technique for sample-efficient black-box Bayesian inference also with noisy models.

研究动机与目标

• 为解决在计算神经科学与认知神经科学中常见的昂贵且噪声性对数似然评估下，实现高效贝叶斯推断的挑战。
• 将 vbmc 框架——最初针对无噪声评估设计——扩展为可稳健处理噪声似然，同时不牺牲样本效率或准确性。
• 开发新型获取函数，使其在变分推断与高斯过程代理框架下兼具抗噪声性与计算高效性。
• 在包含五个真实世界神经科学模型、具有噪声性模拟似然的新型现实基准上验证该方法。
• 证明 vbmc 搭配 viqr 在后验恢复与模型证据估计方面，优于现有基于代理的推断技术。

提出的方法

• 提出两种新型全局获取函数——期望信息增益（eig）与变分四分位距（viqr）——专为在对数似然评估中具有噪声时保持稳健而设计。
• 采用后验的变分表示，以实现获取函数的快速解析计算，相比蒙特卡洛近似显著降低评估成本。
• 应用变分白化以处理非轴对齐的后验分布，提升在噪声条件下的稳定性和性能。
• 使用贝叶斯积分计算基于高斯过程代理的变分下界（ELBO），实现后验与模型证据的联合推断。
• 实施预热阶段，以在主动优化前加速收敛至高后验概率区域。
• 通过分层噪声模型将噪声估计整合至获取函数中，敏感性分析表明对噪声估计不精确具有鲁棒性。

实验结果

研究问题

• RQ1 在 vbmc 框架中，面对噪声性似然评估，全局获取函数如 eig 与 viqr 是否能优于局部获取函数？
• RQ2 扩展后的 vbmc 方法对模拟模型中观测噪声估计不精确的鲁棒性如何？
• RQ3 引入变分白化是否能提升在噪声条件下非轴对齐后验分布的推断性能？
• RQ4 在真实世界神经科学问题中，vbmc 搭配 viqr 与其它最先进基于代理的推断方法相比，在后验准确性与模型证据估计方面表现如何？
• RQ5 当应用于具有真实数据与噪声似然的复杂高维模型时，该方法能否保持高样本效率与准确性？

主要发现

• vbmc 搭配 viqr 在包含五个具有噪声似然的真实神经科学模型的多样化基准上，实现了最先进的后验真实恢复与模型证据估计性能。
• 该方法在抗噪声性与解质量方面优于局部获取函数及其他基于代理的推断技术，尤其在噪声环境下表现突出。
• 即使在噪声估计误差达到 σσ ≈ 0.4 时，性能仅轻微下降，平均边际总变差（MMTV）的中位数增幅小于 25%。
• 该方法对噪声估计不精确具有高度鲁棒性，即使噪声估计值与真实值相差达 2.2 倍，性能下降也微乎其微。
• 变分白化的使用显著提升了非轴对齐后验在噪声环境下的推断稳定性与准确性，尤其在高噪声条件下优势明显。
• 该基准表明，g-and-k 模型对基于代理的方法相对容易，而真实世界神经科学问题则揭示了显著的性能差异，凸显了所提出测试套件的挑战性与实际意义。