[论文解读] Partition Functions from Rao-Blackwellized Tempered Sampling

David Carlson, Patrick Stinson+2 more|arXiv (Cornell University)|Mar 7, 2016

Bayesian Methods and Mixture Models参考文献 44被引用 8

一句话总结

本文提出了一种新型方法——Rao-Blackwell化温度采样（RTS），用于在复杂、多峰分布中通过模拟退火估计配分函数。通过利用马尔可夫链蒙特卡洛（MCMC）采样过程中逆温度的多项分布，RTS 通过Rao-Blackwell化边缘概率估计计算配分函数估计值，其精度显著高于退火重要性采样（AIS），且计算成本极低，尤其在训练受限玻尔兹曼机（RBMs）时表现优异。

ABSTRACT

Partition functions of probability distributions are important quantities for model evaluation and comparisons. We present a new method to compute partition functions of complex and multimodal distributions. Such distributions are often sampled using simulated tempering, which augments the target space with an auxiliary inverse temperature variable. Our method exploits the multinomial probability law of the inverse temperatures, and provides estimates of the partition function in terms of a simple quotient of Rao-Blackwellized marginal inverse temperature probability estimates, which are updated while sampling. We show that the method has interesting connections with several alternative popular methods, and offers some significant advantages. In particular, we empirically find that the new method provides more accurate estimates than Annealed Importance Sampling when calculating partition functions of large Restricted Boltzmann Machines (RBM); moreover, the method is sufficiently accurate to track training and validation log-likelihoods during learning of RBMs, at minimal computational cost.

研究动机与目标

• 开发一种高效且精确的方法，用于估计机器学习中常见的高度多峰分布的配分函数。
• 利用模拟退火的结构——特别是逆温度的多项分布——推导出一种低成本的配分函数估计器。
• 实现实时跟踪受限玻尔兹曼机（RBM）训练和验证对数似然值，且计算开销极小。
• 提供一种理论基础扎实且在复杂场景下优于现有方法（如AIS和RAISE）的实用方法。

提出的方法

• 将目标分布扩展为包含离散逆温度变量 βk ∈ {β1, ..., βK}，从而在 x 和 β 上构建一个温度加权的联合分布。
• 使用模拟退火从该联合分布中采样，以实现对多峰后验分布中多个模式的高效探索。
• 在MCMC链上使用Rao-Blackwellization估计 βk 的边缘概率 p(βk)，即对给定 x 的 βk 条件概率进行平均。
• 通过Rao-Blackwell化估计的商计算配分函数比值：ZK / Z1 ≈ (cK / c1) × (r1 / rK)，其中 ck 为经验频数，rk 为先验权重。
• 应用平滑更新规则以在训练过程中稳定估计：ZK^(t+1) = ZK^(t) × (r1/rK × cK^(t)/c1^(t))^α，其中 α ∈ (0.05, 0.5)。
• 采用非均匀先验 r_k ∝ exp(2βk)，以降低训练过程中的梯度方差，同时保持对数配分函数估计的准确性。

实验结果

研究问题

• RQ1 能否利用模拟退火中逆温度的多项分布结构，以极低额外成本估计配分函数？
• RQ2 所提出的RTS估计器在估计RBMs配分函数时，其精度与AIS和RAISE等成熟方法相比如何？
• RQ3 RTS能否提供足够准确且稳定的估计，实现实时跟踪RBM训练和验证对数似然值？
• RQ4 不同逆温度先验分布对配分函数估计的方差和偏差有何影响？
• RQ5 该方法是否可扩展或与控制变量、广义系综等技术结合，以进一步提升性能？

主要发现

• 在计算大规模受限玻尔兹曼机的对数配分函数时，RTS 提供的配分函数估计精度显著高于退火重要性采样（AIS）。
• 该方法以极低计算成本实现了对RBM训练和验证对数似然值的精确追踪，仅需2000条并行马尔可夫链和每次更新25次Gibbs扫面。
• 在MNIST数据集上对784-10 RBM的实验表明，RTS能稳定且准确地估计 log Zk，最终迭代中 cK 估计值与真实 rK 值高度吻合。
• 采用非均匀先验 r_k ∝ exp(2βk) 显著降低了梯度估计的方差，且未明显损害对数配分函数估计的准确性。
• 通过凸组合（α = 0.2）对配分函数估计进行平滑处理，显著降低了小样本下的噪声，提升了训练过程中的稳定性。
• 尽管进行了广泛探索，但未发现任何替代先验或偏差校正方法在配分函数估计器的RMSE指标上持续优于均匀先验。