[论文解读] Scalable Natural Gradient Langevin Dynamics in Practice

Henri Palacci, Henry Hess|arXiv (Cornell University)|Jun 7, 2018

Markov Chains and Monte Carlo Methods参考文献 13被引用 7

一句话总结

本文评估了在贝叶斯深度学习中使用多种预条件方法（对角、Kronecker分解、完整Fisher近似）的可扩展自然梯度Langevin动力学（SGLD）。研究发现，尽管这些方法能改善分布外（out-of-distribution）数据检测，却无法减少小样本数据集上的过拟合，也难以抵抗对抗性攻击，表明在实际部署中，采用隐式贝叶斯正则化的固定学习率SGD可能比显式预条件SGLD更具实用性。

ABSTRACT

Stochastic Gradient Langevin Dynamics (SGLD) is a sampling scheme for Bayesian modeling adapted to large datasets and models. SGLD relies on the injection of Gaussian Noise at each step of a Stochastic Gradient Descent (SGD) update. In this scheme, every component in the noise vector is independent and has the same scale, whereas the parameters we seek to estimate exhibit strong variations in scale and significant correlation structures, leading to poor convergence and mixing times. We compare different preconditioning approaches to the normalization of the noise vector and benchmark these approaches on the following criteria: 1) mixing times of the multivariate parameter vector, 2) regularizing effect on small dataset where it is easy to overfit, 3) covariate shift detection and 4) resistance to adversarial examples.

研究动机与目标

• 评估预条件SGLD方法在大规模贝叶斯神经网络中的实际有效性。
• 探究与标准SGLD相比，自然梯度预条件是否能提升混合效率、泛化能力和鲁棒性。
• 评估方法在检测分布外数据（协变量偏移）和抵抗对抗样本方面的能力。
• 比较SGLD变体与标准SGD及固定学习率SGD在泛化能力和不确定性估计方面的性能。
• 确定在实际深度学习应用中，预条件带来的计算开销是否值得其性能增益。

提出的方法

• 采用添加高斯噪声的随机梯度Langevin动力学（SGLD）对神经网络权重的后验分布进行采样。
• 对噪声项应用对角、Kronecker分解块对角以及完整的Fisher信息矩阵预条件，以考虑参数空间曲率。
• 使用Kronecker-Factored Approximate Curvature（KFAC）作为大型网络中Fisher信息矩阵的高效可逆近似。
• 在固定超参数调优预算下，比较SGLD变体（pSGLD、KSGLD）与固定学习率SGD（FSGD）的性能。
• 采用标准MCMC诊断方法（有效样本量、轨迹图）并评估模型在分布外检测、过拟合和对抗鲁棒性方面的表现。
• 在MNIST上训练模型，并在notMNIST上进行评估，以检验认知不确定性与协变量偏移检测能力。

实验结果

研究问题

• RQ1 使用对角或Kronecker分解近似对Langevin噪声进行预条件处理，是否能改善SGLD中的混合效率与收敛性？
• RQ2 与标准SGD相比，预条件SGLD方法是否能在小样本数据集上减少过拟合？
• RQ3 与标准深度学习模型相比，SGLD方法是否表现出对对抗样本的更强鲁棒性？
• RQ4 SGLD模型能否通过不确定性估计有效检测分布外（OOD）数据（如notMNIST）？
• RQ5 在实际深度学习场景中，预条件的计算开销是否由性能增益所合理化？

主要发现

• 预条件SGLD方法（pSGLD、KSGLD）显著提升了对分布外（OOD）数据的检测能力，其在notMNIST上的预测不确定性高于原始SGD。
• 在小样本数据集（5,000个MNIST样本）上，所有Langevin方法的性能均劣于标准SGD，测试准确率降至90%以下，表明未体现出正则化优势。
• 所有SGLD变体（包括KSGLD）在对抗样本上的表现均失败，测试准确率降至约2%——甚至低于标准SGD的2.9%。
• 轨迹图与有效样本量分析显示参数轨迹存在较差的混合性与非平稳性，表明即使延长运行时间仍存在收敛问题。
• 固定学习率SGD（FSGD）在OOD检测方面与SGLD表现相当，且在小样本数据上的泛化能力优于SGLD，表明数据子采样噪声可能已足够适配参数流形。
• 研究结论认为，与显式预条件SGLD相比，通过固定学习率SGD实现的隐式贝叶斯正则化在实际应用中更具可行性。