[论文解读] Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching

Priyank Jaini, Pascal Poupart|arXiv (Cornell University)|Sep 19, 2016

Bayesian Methods and Mixture Models参考文献 12被引用 5

一句话总结

本文提出在线贝叶斯矩匹配（oBMM），一种新颖的方法，通过矩匹配将难以计算的后验分布投影到可处理的分布族中，实现高斯混合模型（GMMs）的在线和分布式学习。该方法在准确性和速度上均优于在线EM算法，oBMM在10个数据集中的9个上取得了更高的对数似然值，oDMM则实现了可扩展的分布式推理，且准确度损失极小。

ABSTRACT

The Gaussian mixture model is a classic technique for clustering and data modeling that is used in numerous applications. With the rise of big data, there is a need for parameter estimation techniques that can handle streaming data and distribute the computation over several processors. While online variants of the Expectation Maximization (EM) algorithm exist, their data efficiency is reduced by a stochastic approximation of the E-step and it is not clear how to distribute the computation over multiple processors. We propose a Bayesian learning technique that lends itself naturally to online and distributed computation. Since the Bayesian posterior is not tractable, we project it onto a family of tractable distributions after each observation by matching a set of sufficient moments. This Bayesian moment matching technique compares favorably to online EM in terms of time and accuracy on a set of data modeling benchmarks.

研究动机与目标

• 解决在线EM在流式和分布式设置下的局限性，其中随机E步近似降低了数据效率，且顺序更新阻碍了并行化。
• 通过利用可处理的后验近似进行贝叶斯推断，实现在在线和分布式环境中对GMMs的可扩展、高精度参数估计。
• 开发一种方法，在单次遍历学习设置中保持高精度，同时支持在多台处理器间高效分布。
• 证明基于矩匹配的贝叶斯近似可优于在线EM中的随机E步近似，无论在收敛速度还是模型对数似然方面。

提出的方法

• 使用贝叶斯推断，通过贝叶斯定理在每次观测后更新后验分布，实现在线学习。
• 通过矩匹配将难以计算的后验分布近似为可处理的分布族（乘积形式的狄利克雷分布和正态-惠施特尔特分布）以实现近似。
• 通过匹配近似后验与真实后验的充分统计量（如均值、协方差）来确保统计保真度。
• 通过将数据在多台机器间分区，独立计算部分后验，并通过后验乘积除以先验的方式组合，实现分布式计算。
• 将该方法应用于具有M个分量的GMM，通过充分统计量顺序更新参数（权重、均值、协方差）。
• 使用共轭先验结构（混合权重使用狄利克雷分布，均值和协方差使用正态-惠施特尔特分布），以支持解析更新和矩匹配。

实验结果

研究问题

• RQ1 贝叶斯矩匹配能否为流式GMM学习提供比在线EM更准确、更高效的选择？
• RQ2 在收敛速度和测试数据上的对数似然方面，在线贝叶斯矩匹配与在线EM相比表现如何？
• RQ3 贝叶斯矩匹配框架在多台机器间分布时，模型准确度的损失程度如何？
• RQ4 尽管引入了自身的近似误差，基于矩匹配的后验近似是否仍能优于在线EM中的随机E步近似？
• RQ5 是否可行使用所提出的贝叶斯矩匹配框架在线学习GMM中的分量数量？

主要发现

• 在10个基准数据集中的9个上，oBMM的对数似然得分显著优于在线EM，p值 < 0.05，表明具有统计显著性。
• 在异质性数据集（390万个实例）上，oBMM的对数似然为-174.3，优于oEM（-176.2）和oDMM（-180.7），表现出更优的准确性。
• oDMM的分布式变体将Heterogeneity数据集的运行时间缩短至17.5秒，而oEM为77.3秒，oBMM为81.7秒。
• oDMM在Heterogeneity数据集上取得了具有竞争力的对数似然值（如-180.7），仅略逊于oBMM（-174.3），表明分布式处理带来的准确度损失极小。
• oBMM仅通过单次遍历即完成收敛，优于oEM需要多次遍历才能收敛，凸显了oBMM在流式环境中的优势。
• 该方法在多种数据集上表现出鲁棒性，包括高维数据（Year MSD，91个属性）和大规模数据（MiniBooNe，13万个实例）。