[论文解读] SAME but Different: Fast and High-Quality Gibbs Parameter Estimation

Huasha Zhao, Biye Jiang+1 more|arXiv (Cornell University)|Sep 18, 2014

Gaussian Processes and Bayesian Inference参考文献 17被引用 9

一句话总结

该论文提出了一种基于状态增强的边际估计（SAME）的GPU加速吉布斯采样方法，用于改进潜在狄利克雷分配（LDA）等概率模型中的参数估计。通过并行采样多个潜在变量副本并冷却后验分布，SAME实现了更快的收敛速度和更高质量的MAP估计，其性能接近最先进的符号方法，同时保持了采样方法的高质量优势。

ABSTRACT

Gibbs sampling is a workhorse for Bayesian inference but has several limitations when used for parameter estimation, and is often much slower than non-sampling inference methods. SAME (State Augmentation for Marginal Estimation) \cite{Doucet99,Doucet02} is an approach to MAP parameter estimation which gives improved parameter estimates over direct Gibbs sampling. SAME can be viewed as cooling the posterior parameter distribution and allows annealed search for the MAP parameters, often yielding very high quality (lower loss) estimates. But it does so at the expense of additional samples per iteration and generally slower performance. On the other hand, SAME dramatically increases the parallelism in the sampling schedule, and is an excellent match for modern (SIMD) hardware. In this paper we explore the application of SAME to graphical model inference on modern hardware. We show that combining SAME with factored sample representation (or approximation) gives throughput competitive with the fastest symbolic methods, but with potentially better quality. We describe experiments on Latent Dirichlet Allocation, achieving speeds similar to the fastest reported methods (online Variational Bayes) and lower cross-validated loss than other LDA implementations. The method is simple to implement and should be applicable to many other models.

研究动机与目标

• 解决标准吉布斯采样在高维模型中MAP参数估计时收敛缓慢和可扩展性差的问题。
• 通过状态增强实现后验分布的冷却，提升参数估计质量，支持对更优极值点的退火搜索。
• 利用现代SIMD硬件（GPU）加速采样，实现与符号推理方法相当的性能。
• 证明采样方法可达到或超越最先进的符号方法（如在线变分贝叶斯）的速度，同时保持更高的估计质量。
• 为LDA开发一种实用、高性能的SAME实现，具备简单部署和可扩展至其他图模型的特性。

提出的方法

• 引入m个独立潜在变量副本Z^(1), ..., Z^(m)的联合分布，共享参数Θ，从而构建冷却后的后验分布P^m(Θ|X)。
• 利用P^m(Θ|X)与P^m(Θ|X)成比例的性质，使后验分布的峰值更加尖锐，促进向高质量MAP估计的收敛。
• 对增强系统应用吉布斯采样，其中每个副本Z^(j)独立更新，支持GPU架构下的大规模并行计算。
• 采用因子化采样表示来近似后验分布，降低计算成本，同时保持估计精度。
• 引入可控的逆温度参数m = 1/(kT)以实现退火，逐步增加m以优化参数估计。
• 通过GPU内核优化实现，同时处理所有m个副本，实现在现代硬件上的高吞吐量。

实验结果

研究问题

• RQ1 基于SAME的吉布斯采样能否实现与变分推理等符号方法相当的参数估计质量？
• RQ2 通过引入多个潜在变量副本所引入的并行性，是否能使性能与最快符号推理方法相当？
• RQ3 GPU加速能否使采样-based MAP估计速度达到或超过最先进的集群规模吉布斯采样实现？
• RQ4 将副本数量m进行退火如何影响收敛速度和最终估计质量？
• RQ5 因子化采样与SAME的结合能否为一般图模型提供实用且高性能的推理框架？

主要发现

• 在NYTimes数据集上，K=256时，SAME吉布斯采样器在90秒内完成收敛，优于需60–70小时的CPU实现。
• GPU加速的SAME GS方法比100个节点的聚类实现的折叠吉布斯采样（CGS）快4倍，后者耗时2000分钟才收敛。
• 当m=100时，每次迭代的运行时间仅为30秒，将m增加到500仅增加20秒，表明GPU并行性带来了极低的边际成本。
• 该方法的交叉验证损失低于其他LDA实现，表明其参数估计质量优于竞争的采样和变分方法。
• SAME GS方法的运行时间仅比在线变分贝叶斯（VB）慢3倍，但估计质量更优。
• 动态退火调度（线性、对数、反线性）与固定m=100相比无显著优势，表明恒定采样规模已足够且高效。