[论文解读] Scaling Nonparametric Bayesian Inference via Subsample-Annealing

Fritz Obermeyer, Jonathan Glidden+1 more|arXiv (Cornell University)|Feb 22, 2014

Bayesian Methods and Mixture Models参考文献 14被引用 7

一句话总结

该论文提出子样本退火（subsample annealing），一种新颖的MCMC方法，通过在迭代过程中逐步增大数据子样本规模，并在不断增加的子样本大小上执行吉布斯采样，从而加速非参数贝叶斯推断，有效模拟了模拟退火过程。该方法在某些模型中实现了混合时间的指数级加速，并在包括美国人口普查和网络日志在内的大规模数据集上，实现了比标准吉布斯采样更高的单位时钟时间精度。

ABSTRACT

We describe an adaptation of the simulated annealing algorithm to nonparametric clustering and related probabilistic models. This new algorithm learns nonparametric latent structure over a growing and constantly churning subsample of training data, where the portion of data subsampled can be interpreted as the inverse temperature beta(t) in an annealing schedule. Gibbs sampling at high temperature (i.e., with a very small subsample) can more quickly explore sketches of the final latent state by (a) making longer jumps around latent space (as in block Gibbs) and (b) lowering energy barriers (as in simulated annealing). We prove subsample annealing speeds up mixing time N^2 -> N in a simple clustering model and exp(N) -> N in another class of models, where N is data size. Empirically subsample-annealing outperforms naive Gibbs sampling in accuracy-per-wallclock time, and can scale to larger datasets and deeper hierarchical models. We demonstrate improved inference on million-row subsamples of US Census data and network log data and a 307-row hospital rating dataset, using a Pitman-Yor generalization of the Cross Categorization model.

研究动机与目标

• 解决非参数贝叶斯推断中的可扩展性瓶颈，特别是针对狄利克雷过程混合模型和交叉分类等离散模型。
• 克服复杂模型中由于潜在状态间存在高能垒而导致的标准吉布斯采样混合缓慢的问题。
• 开发一种原理清晰、易于实现的吉布斯采样扩展方法，通过数据子采样和退火实现速度与精度的平衡。
• 证明早期在小样本上的近似推断能够加速收敛至完整数据的准确后验样本。
• 提供理论和实证证据，表明子样本退火在单位时钟时间精度方面提升了推断效率。

提出的方法

• 通过将时间t时的子样本大小视为逆温度β(t)，借鉴模拟退火原理，实现潜在结构的渐进优化。
• 将吉布斯采样解耦为两个操作：移除一个数据点并重新采样其分配，从而支持动态子采样和数据轮换。
• 随时间逐步增大子样本规模，从初始的小规模、高温（高β）状态出发，广泛探索潜在空间。
• 在退火过程中定期执行超参数推断，以避免初始化不良并提升收敛性。
• 采用线性退火调度，使最终迭代使用全部N个数据点，确保在极限情况下收敛至真实后验分布。
• 利用与朗之万动力学和正则化的联系，表明子样本退火同时对能量、步长和先验权重进行退火。

实验结果

研究问题

• RQ1 与标准吉布斯采样相比，子样本退火是否能显著缩短非参数贝叶斯模型中的混合时间？
• RQ2 在小数据子样本上进行早期近似推断，是否能加速收敛至完整数据集的准确后验样本？
• RQ3 在哪些模型类别或数据条件下，子样本退火能实现混合时间的指数级或多项式级加速？
• RQ4 在真实世界数据集上，子样本退火与朴素吉布斯采样相比，在单位时钟时间精度方面表现如何？
• RQ5 后验景观中的能垒和假设间隙在多大程度上决定了子样本退火的有效性？

主要发现

• 在简单聚类模型中，子样本退火将混合时间从N²理论加速至N；在另一类模型中，从exp(N)加速至N。
• 实证结果表明，子样本退火在百万行规模的美国人口普查和网络日志数据集上，优于朴素吉布斯采样在单位时钟时间精度方面的表现。
• 该方法成功扩展至更深层的层次模型，并在307行的医院评分数据集上应用了交叉分类模型的皮特曼-约尔推广。
• 当能垒δ较大且假设间能隙γ适中时，加速效果最为显著，此时在高温下可观察到状态间的跃迁。
• 在存在罕见异常值（如网络入侵事件）的数据集上性能下降，表明对子样本代表性敏感。
• 分层子采样可能减轻异常值影响，且该方法在结构学习方面表现出潜力，因其在潜在假设之间具有更高的能垒。