[论文解读] Using deterministic approximations to accelerate SMC for posterior sampling

Sophie Donnet, Stéphane Robin|arXiv (Cornell University)|Jul 25, 2017

Bayesian Methods and Mixture Models参考文献 2被引用 3

一句话总结

本文提出了一种新型的序贯蒙特卡罗（SMC）方法——缩短桥接采样器（SBS），通过从确定性后验近似（如变分贝叶斯）而非先验开始初始化，加速后验抽样。通过自适应构建近似后验与真实后验之间的桥接序列，SBS校正了变分近似中的方差低估问题，从而获得更准确的后验方差，并提升了统计推断的准确性。在网络模型上的实验表明，SBS揭示的不确定性高于变分贝叶斯（VB）。

ABSTRACT

Sequential Monte Carlo has become a standard tool for Bayesian Inference of complex models. This approach can be computationally demanding, especially when initialized from the prior distribution. On the other hand, deter-ministic approximations of the posterior distribution are often available with no theoretical guaranties. We propose a bridge sampling scheme starting from such a deterministic approximation of the posterior distribution and targeting the true one. The resulting Shortened Bridge Sampler (SBS) relies on a sequence of distributions that is determined in an adaptive way. We illustrate the robustness and the efficiency of the methodology on a large simulation study. When applied to network datasets, SBS inference leads to different statistical conclusions from the one supplied by the standard variational Bayes approximation.

研究动机与目标

• 解决标准SMC方法从先验初始化所导致的计算负担，特别是在高维或多重模式后验分布的情况下。
• 校正变分贝叶斯（VB）近似中众所周知的后验方差低估问题，该问题可能导致误导性推断。
• 开发一种稳健且自适应的SMC框架，利用确定性近似作为起点，加速收敛而不损失准确性。
• 为全后验探索计算成本过高的复杂贝叶斯模型，提供一种实用且高效的MCMC和标准SMC的替代方案。

提出的方法

• 提出一种桥接采样方案，通过一系列温度化分布，从确定性后验近似过渡到真实后验。
• 构建形式为 $ \widetilde{p}_{\boldsymbol{Y}}^{1-\rho_h}(p(\theta|\boldsymbol{Y}))^{\rho_h} $ 的自适应分布序列，其中 $ \rho_h $ 在SMC过程中动态调整。
• 使用带重采样的序贯重要性采样，将粒子从近似后验传播至真实后验，确保最终样本来自精确后验。
• 基于初始近似质量设计路径寻找策略，选择 $ \rho_h $ 值以平衡探索与效率。
• 自适应调整SMC算法，自动确定 $ \rho_h $ 值序列，减少人工调参，提升鲁棒性。
• 将确定性近似视为提议机制而非先验，避免经验贝叶斯陷阱，并能校正如忽略参数依赖关系等结构性误设问题。

实验结果

研究问题

• RQ1 是否可以利用确定性后验近似来加速SMC抽样，同时不损害最终后验样本的准确性？
• RQ2 SBS方法如何校正变分贝叶斯近似中常见的后验方差低估问题？
• RQ3 SBS方法在多大程度上恢复了初始确定性近似中被忽略的参数依赖关系？
• RQ4 在复杂模型上，SBS在计算效率和统计准确性方面与标准SMC和变分贝叶斯相比表现如何？
• RQ5 能否在运行时可靠地确定自适应的温度参数 $ \rho_h $ 序列，以确保收敛性和鲁棒性？

主要发现

• 在Tree网络数据集上，SBS的后验标准差接近变分贝叶斯（VB）的两倍，表明对后验方差低估问题有显著校正。
• 对于回归系数 $ \beta_1 $（遗传距离），后验标准差从VB的1.5e-05增至SBS的3.31e-05，显著性比从3.09降至1.25。
• 在Tree示例中，$ \beta_2 $（地理距离）的后验标准差从VB的0.208增至SBS的0.47，显著性比从1.11降至0.755。
• 在SBM-reg模型（单类）中，大多数情况下VB与SBS的后验概率几乎相同（如Marriage、Business），但在Karate和Tree等不确定情形下出现显著分歧。
• 在Tree模型中，SBS估计的后验概率为 $ 1.06 \times 10^{-161} $，而VB给出 $ 4.83 \times 10^{-153} $，表明SBS在检测残余结构方面更为保守。
• SBS算法成功恢复了初始VB近似中被忽略的参数依赖关系，表现为后验方差增大和显著性水平变化。