[论文解读] Stochastic Quasi-Newton Langevin Monte Carlo

Umut Şimşekli, Roland Badeau+2 more|arXiv (Cornell University)|Feb 10, 2016

Markov Chains and Monte Carlo Methods参考文献 43被引用 15

一句话总结

本文提出Hessian近似MCMC（HAMCMC），一种基于随机拟牛顿Langevin蒙特卡洛的方法，通过使用有限记忆BFGS更新近似逆Hessian矩阵，提升了贝叶斯推断中的采样效率。通过结合局部曲率信息并保持线性时间与内存复杂度，HAMCMC在合成数据和真实世界矩阵分解任务中均比SGLD、PSGLD和DSGLD收敛更快，同时保持渐近一致性与低计算开销。

ABSTRACT

Recently, Stochastic Gradient Markov Chain Monte Carlo (SG-MCMC) methods have been proposed for scaling up Monte Carlo computations to large data problems. Whilst these approaches have proven useful in many applications, vanilla SG-MCMC might suffer from poor mixing rates when random variables exhibit strong couplings under the target densities or big scale differences. In this study, we propose a novel SG-MCMC method that takes the local geometry into account by using ideas from Quasi-Newton optimization methods. These second order methods directly approximate the inverse Hessian by using a limited history of samples and their gradients. Our method uses dense approximations of the inverse Hessian while keeping the time and memory complexities linear with the dimension of the problem. We provide a formal theoretical analysis where we show that the proposed method is asymptotically unbiased and consistent with the posterior expectations. We illustrate the effectiveness of the approach on both synthetic and real datasets. Our experiments on two challenging applications show that our method achieves fast convergence rates similar to Riemannian approaches while at the same time having low computational requirements similar to diagonal preconditioning approaches.

研究动机与目标

• 解决当目标后验在不同维度上存在强相关性或尺度差异时，原始随机梯度MCMC（SG-MCMC）混合率差的问题。
• 开发一种可扩展的MCMC方法，能够捕捉后验的局部几何结构，而无需Riemannian方法（如SGRLD）的高计算成本。
• 结合对角预条件（如PSGLD）的效率与通过拟牛顿更新实现的全Hessian预条件的准确性。
• 在高维设置下保持线性时间与内存复杂度的同时，确保渐近一致性与无偏性。

提出的方法

• 该方法采用随机拟牛顿框架，利用样本及其随机梯度的有限历史记录，近似负对数后验的逆Hessian矩阵。
• 采用L-BFGS算法，以O(MD)的时间与内存复杂度维护密集的Hessian近似，其中M为记忆大小，D为维度。
• 将Hessian近似集成到Langevin扩散SDE中，通过修改漂移项来反映局部曲率。
• 该算法基于正式的Fokker-Planck方程分析推导，确保与真实后验的渐近一致性。
• 通过数据分区与消息传递协议，将方法扩展至分布式设置，通信复杂度与维度呈线性关系。
• 该方法避免了对期望Fisher信息矩阵的解析计算，从而可应用于更广泛的模型类别。

实验结果

研究问题

• RQ1 基于拟牛顿的Hessian近似是否能在不增加Riemannian方法计算成本的前提下，提升SG-MCMC的混合率？
• RQ2 在高维、相关性强的后验中，密集Hessian近似是否比对角预条件收敛更快？
• RQ3 所提出的方法是否能在保持线性时间与内存复杂度的同时，维持渐近无偏性？
• RQ4 在分布式设置下，HAMCMC相较于现有可扩展MCMC方法的表现如何？

主要发现

• 在MovieLens 1M数据集上，HAMCMC收敛速度优于DSGLD与PSGLD，且在计算成本相近的情况下实现了更低的测试RMSE。
• 在分布式矩阵分解中，HAMCMC收敛速度优于PSGLD与DSGLD，同时保持线性通信复杂度。
• 该方法具有渐近一致性与无偏性，而PSGLD因舍弃了引入持续偏差的校正项，故存在偏差。
• HAMCMC性能接近SGRLD（一种Riemannian方法），但因高效的Hessian近似，计算开销显著更低。
• L-BFGS的使用使得以O(MD)复杂度实现密集曲率近似成为可能，使其可扩展至高维问题。
• 实验结果证实，HAMCMC能有效处理后验中强烈的相关性与尺度差异，优于各向同性与对角预条件方法。