[论文解读] Streaming, Distributed Variational Inference for Bayesian Nonparametrics

Trevor Campbell, Julian Straub+2 more|arXiv (Cornell University)|Oct 30, 2015

Bayesian Methods and Mixture Models参考文献 21被引用 3

一句话总结

本文提出了一种用于贝叶斯非参数模型的流式、分布式变分推断框架，通过优化求解组合性分量识别问题，实现了异步、无需学习率和截断自由的推断。该方法在并行节点间高效扩展，且在MNIST和飞机轨迹等大规模数据集上实现了数量级的速度提升，同时保持了具有竞争力的模型质量。

ABSTRACT

This paper presents a methodology for creating streaming, distributed inference algorithms for Bayesian nonparametric (BNP) models. In the proposed framework, processing nodes receive a sequence of data minibatches, compute a variational posterior for each, and make asynchronous streaming updates to a central model. In contrast to previous algorithms, the proposed framework is truly streaming, distributed, asynchronous, learning-rate-free, and truncation-free. The key challenge in developing the framework, arising from the fact that BNP models do not impose an inherent ordering on their components, is finding the correspondence between minibatch and central BNP posterior components before performing each update. To address this, the paper develops a combinatorial optimization problem over component correspondences, and provides an efficient solution technique. The paper concludes with an application of the methodology to the DP mixture model, with experimental results demonstrating its practical scalability and performance.

研究动机与目标

• 解决贝叶斯非参数模型在流式、分布式和异步设置下缺乏真正有效的推断算法的问题。
• 解决由于贝叶斯非参数模型分量在分布式小批量数据中缺乏固有顺序而引发的组合性分量识别问题。
• 设计一种无需学习率和截断的推断框架，在并行和流式数据处理下保持模型质量。
• 实现在MNIST、飞机轨迹和SUN图像等大规模数据集上的可扩展、高性能推断。
• 提供一种可推广的方法论，不仅适用于狄利克雷过程混合模型，还可推广至其他贝叶斯非参数先验。

提出的方法

• 提出一种小批量后验分解方法，实现无需学习率的流式、分布式推断。
• 引入一个组合优化问题，通过最大化分量匹配概率来实现小批量后验与中心后验之间的分量匹配。
• 利用詹森不等式推导狄利克雷过程先验的可处理正则化界，从而实现高效计算。
• 采用异步更新机制，每个节点计算本地变分后验，并在解决分量对应问题后将更新流式传输至中心模型。
• 采用一种分量匹配算法，每轮更新耗时约10−5秒，计算开销极低。
• 将该框架应用于狄利克雷过程混合模型的变分推断，并在真实世界数据集上验证了其可扩展性。

实验结果

研究问题

• RQ1 如何在流式、分布式和异步设置下高效推断贝叶斯非参数模型？
• RQ2 在组合来自多个独立小批量的变分后验时，如何有效解决分量识别问题？
• RQ3 能否在分布式处理下为贝叶斯非参数模型设计一种无需学习率和截断的推断框架？
• RQ4 并行性如何影响流式贝叶斯非参数推断中的模型质量与收敛速度？
• RQ5 所提出的方法能否在保持具有竞争力的模型性能的同时，扩展至大规模真实世界数据集？

主要发现

• SDA-DP在Airplane数据集上达到-0.55的测试对数似然，在MNIST上为-145.3，在SUN上为-150.3，结果与批量方法及其他流式方法相当。
• 与批量推断相比，SDA-DP在Airplane上将计算时间减少至0.66秒（批量为1.07秒），在MNIST上为3.0秒（批量为829.6秒），在SUN上为9.4秒（批量为1881.5秒）。
• 在40个线程下，SDA-DP以显著更短的时间收敛至与其他方法相同的测试对数似然值，证明了其强大的可扩展性。
• 分量匹配耗时小于1毫秒/更新（约10−5秒），证实其不会成为整体性能的瓶颈。
• 超过80%的分量匹配问题在前80个小批量更新内即被解决，表明其能快速收敛至稳定的聚类结构。
• 增加并行度通过提供更多机会纠正错误，提升了聚类发现的准确性，减少了早期错误。