[论文解读] Parallel Stochastic Gradient Markov Chain Monte Carlo for Matrix Factorisation Models

Umut Şimşekli, Hazal Koptagel+4 more|arXiv (Cornell University)|Jun 3, 2015

Markov Chains and Monte Carlo Methods参考文献 18被引用 9

一句话总结

本文提出并行随机梯度朗之万动力学（PSGLD），一种用于大规模矩阵分解（MF）模型中可扩展贝叶斯推断的分布式马尔可夫链蒙特卡洛方法。通过利用MF中的条件独立性实现高效的数据子采样与并行化，PSGLD在保持与随机梯度下降相当的收敛速度的同时，实现了完整的后验抽样，且在数据规模扩大64倍时，通过按比例扩展计算节点，运行时间几乎保持恒定。

ABSTRACT

For large matrix factorisation problems, we develop a distributed Markov Chain Monte Carlo (MCMC) method based on stochastic gradient Langevin dynamics (SGLD) that we call Parallel SGLD (PSGLD). PSGLD has very favourable scaling properties with increasing data size and is comparable in terms of computational requirements to optimisation methods based on stochastic gradient descent. PSGLD achieves high performance by exploiting the conditional independence structure of the MF models to sub-sample data in a systematic manner as to allow parallelisation and distributed computation. We provide a convergence proof of the algorithm and verify its superior performance on various architectures such as Graphics Processing Units, shared memory multi-core systems and multi-computer clusters.

研究动机与目标

• 为解决传统MCMC方法在大规模矩阵分解中计算不可行的问题，实现分布式、可扩展的后验抽样。
• 通过利用MF模型中的条件独立性，克服现有分布式SGLD方法在MF模型中通信瓶颈和效率低下的问题。
• 证明在大数据环境下，蒙特卡洛推断可与基于优化的方法一样高效。
• 在如MovieLens 10M这类大规模稀疏数据集上，实现完整的贝叶斯推断，包括模型选择与预测密度估计。

提出的方法

• 提出并行SGLD（PSGLD），一种分布式MCMC框架，可在多个节点上对子采样数据分区独立运行马尔可夫链。
• 利用MF模型中的条件独立性结构，系统性地进行数据子采样，实现在无需完整数据同步的情况下高效并行化。
• 使用随机梯度朗之万动力学（SGLD）通过小批量数据近似后验分布，降低每次迭代的计算成本。
• 实现一种通信高效的协议，避免潜在变量的全局同步，从而减少分布式环境下的开销。
• 将该方法应用于多种MF模型，包括具有Tweedie似然的非负矩阵分解，并支持密集与稀疏数据。
• 通过在计算节点间动态划分数据与潜在变量，将算法扩展至共享内存系统、GPU及多计算机集群。

实验结果

研究问题

• RQ1 能否通过分布式MCMC方法实现与随机梯度下降相当的计算效率，同时在矩阵分解中实现完整的贝叶斯后验抽样？
• RQ2 如何利用矩阵分解模型中的条件独立性结构，以减少分布式MCMC中的通信成本？
• RQ3 当数据规模与计算节点数量按比例增加时，PSGLD是否仍保持可扩展性？
• RQ4 在大规模MF问题中，PSGLD与分布式优化方法（如DSGD）相比，在收敛速度与准确性方面表现如何？
• RQ5 PSGLD能否在真实世界的大规模数据集（如MovieLens 10M）上支持完整的贝叶斯推断，包括模型选择与预测不确定性？

主要发现

• 在MovieLens 10M数据集上，PSGLD实现了与分布式随机梯度下降（DSGD）相当的RMSE收敛速率，表明尽管从完整后验分布中抽样，其收敛速度仍与DSGD相近。
• PSGLD的运行时间随着节点数量增加（最多达90个节点）几乎呈二次方减少，在15个节点的集群上（共120个进程）表现出极强的可扩展性。
• 当数据规模扩大64倍（从约1000万增至约6.4亿个非零条目）时，若节点数量按比例增加至120个，PSGLD的运行时间几乎保持恒定，表明其具备强大的数据与计算扩展能力。
• 在120个节点时，通信开销成为主导因素，导致运行时间略有上升，表明由于网络开销，节点数量存在实际上限。
• 该方法实现了大规模MF模型中高效的贝叶斯推断，挑战了MCMC在大数据环境下过慢的固有认知，并使PSGLD成为基于优化方法的可行替代方案。