[论文解读] Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks with Symmetric Splitting

Adam D. Cobb, Brian Jalaian|arXiv (Cornell University)|Oct 13, 2020

Markov Chains and Monte Carlo Methods被引用 23

一句话总结

本文提出了一种用于哈密顿蒙特 Carlo（HMC）的新型对称分裂积分方案，可在贝叶斯神经网络中实现全批量 HMC 推断，且无需依赖随机梯度。与随机梯度 MCMC 相比，该方法在准确性和不确定性量化方面表现更优，在单张 GPU 上具有高效扩展性，并在真实世界的声音分类任务中优于以往的分裂方法。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) approach that exhibits favourable exploration properties in high-dimensional models such as neural networks. Unfortunately, HMC has limited use in large-data regimes and little work has explored suitable approaches that aim to preserve the entire Hamiltonian. In our work, we introduce a new symmetric integration scheme for split HMC that does not rely on stochastic gradients. We show that our new formulation is more efficient than previous approaches and is easy to implement with a single GPU. As a result, we are able to perform full HMC over common deep learning architectures using entire data sets. In addition, when we compare with stochastic gradient MCMC, we show that our method achieves better performance in both accuracy and uncertainty quantification. Our approach demonstrates HMC as a feasible option when considering inference schemes for large-scale machine learning problems.

研究动机与目标

• 通过保留完整哈密顿量，解决哈密顿蒙特 Carlo（HMC）在大规模数据贝叶斯神经网络（BNNs）中可扩展性受限的问题。
• 开发一种对称分裂积分方案，相较于以往的非对称或随机分裂方法，提升鲁棒性和效率。
• 在标准深度学习架构上实现无需随机近似方法的全 HMC 推理，实现对整个数据集的处理。
• 证明全 HMC 搭配对称分裂在不确定性量化和分类准确率方面优于随机梯度 MCMC。
• 通过 hamiltorch Python 包提供用户友好的实现，以促进在大规模机器学习中的广泛应用。

提出的方法

• 提出一种用于分裂 HMC 的对称分裂积分方案，保持时间可逆性和能量守恒，提升数值稳定性。
• 基于数据子集将哈密顿量分为两部分，使得每部分可进行解析或高效数值积分。
• 通过避免随机梯度并利用对称分裂实现更长轨迹长度，在单张 GPU 上实现全批量 HMC。
• 采用具有对称更新的蛙跳积分器，以保持哈密顿系统的辛结构。
• 在使用完整数据似然函数的深度神经网络中应用该方法，避免使用小批量或随机近似。
• 将该方法集成到 hamiltorch 库中，便于在深度学习工作流中部署和复现。

实验结果

研究问题

• RQ1 能否设计一种对称分裂方案，使 HMC 在采样效率和准确性方面优于非对称或随机分裂方法？
• RQ2 在贝叶斯神经网络中，全批量 HMC 搭配对称分裂是否在不确定性量化方面优于随机梯度 MCMC？
• RQ3 能否在不使用随机近似的情况下，将全 HMC 高效扩展至大规模数据集和标准深度学习架构？
• RQ4 在高维参数空间中，该对称分裂方案与以往分裂方法在收敛性和混合性方面有何比较？
• RQ5 在真实应用如声音车辆分类中，该方法在分类准确率和不确定性校准方面改善程度如何？

主要发现

• 所提出的对称分裂 HMC 方法在采样效率和鲁棒性方面优于以往的分裂方案，尤其在高维 BNN 中表现更优。
• 在声音车辆分类任务中，该方法在分类准确率和不确定性量化方面均优于随机梯度 MCMC。
• 对称分裂 HMC 对误分类样本产生了更低的置信度分数，表明其不确定性校准优于 SGHMC，后者在所有预测中表现出较高的互信息。
• 该方法实现了使用单张 GPU 对整个数据集进行全 HMC 推理，证明了其在大规模深度学习应用中的可行性。
• 混淆矩阵分析表明，对称分裂 HMC 在不确定性方面对正确与错误预测的区分更清晰，误分类样本的互信息更高。
• 该方法保持了 HMC 的优越探索特性，能够通过长轨迹长度有效采样深度网络中的复杂后验分布。