[论文解读] The Bayesian Learning Rule

Mohammad Emtiyaz Khan, Håvard Rue|arXiv (Cornell University)|Jul 9, 2021

Gaussian Processes and Bayesian Inference参考文献 125被引用 7

一句话总结

本文提出了贝叶斯学习法则（Bayesian Learning Rule），这是一个统一框架，可将从经典方法（如岭回归和卡尔曼滤波）到现代深度学习技术（如随机梯度下降和Adam）的广泛机器学习算法，全部作为单一贝叶斯推理算法的特例推导出来。通过使用指数族分布近似后验分布，并利用自然梯度进行优化，该框架实现了算法的泛化、改进，并支持新算法的设计。

ABSTRACT

We show that many machine-learning algorithms are specific instances of a single algorithm called the \emph{Bayesian learning rule}. The rule, derived from Bayesian principles, yields a wide-range of algorithms from fields such as optimization, deep learning, and graphical models. This includes classical algorithms such as ridge regression, Newton's method, and Kalman filter, as well as modern deep-learning algorithms such as stochastic-gradient descent, RMSprop, and Dropout. The key idea in deriving such algorithms is to approximate the posterior using candidate distributions estimated by using natural gradients. Different candidate distributions result in different algorithms and further approximations to natural gradients give rise to variants of those algorithms. Our work not only unifies, generalizes, and improves existing algorithms, but also helps us design new ones.

研究动机与目标

• 将优化、深度学习和图模型中的多样化机器学习算法统一于单一原则性贝叶斯框架之下。
• 通过从共同的变分贝叶斯公式推导，对现有算法进行泛化。
• 通过在贝叶斯学习法则中利用自然梯度近似，改进算法设计。
• 通过后验分布的合理近似，系统性地推导并创造新型学习算法。

提出的方法

• 贝叶斯学习法则源自一种变分公式，其目标是最小化期望损失加上与先验的Kullback-Leibler散度，从而导出广义后验分布。
• 该方法在指数族分布类中优化近似后验，其参数由自然参数和充分统计量表示。
• 使用自然梯度计算近似后验参数的高效更新，实现稳定且自适应的优化。
• 引入自然梯度的近似方法，以推导学习法则的实际变体，例如在随机优化中所用的形式。
• 该框架使用Delta与Bonnet定理的近似，简化更新规则中的二阶导数。
• 该法则的具体实例可导出知名算法：例如，高斯近似导出牛顿型方法，而伯努利分布与混合模型则导出如Dropout和变分自编码器（VAEs）等算法。

实验结果

研究问题

• RQ1 一个单一的贝叶斯推理框架是否能够统一涵盖优化、深度学习和图模型中的多样化机器学习算法？
• RQ2 在贝叶斯框架中，自然梯度近似如何导致现有算法的改进或泛化版本？
• RQ3 贝叶斯学习法则在何种条件下可恢复经典算法（如岭回归或卡尔曼滤波）？
• RQ4 该框架如何通过后验分布的合理近似，被扩展以推导新型学习算法？
• RQ5 指数族分布在此统一推导经典与现代学习算法的过程中起到何种作用？

主要发现

• 贝叶斯学习法则成功地将多种算法（包括岭回归、牛顿法、卡尔曼滤波、随机梯度下降、RMSprop和Dropout）作为单一推理法则的特例恢复出来。
• 该框架通过将现有算法嵌入原则性的贝叶斯变分推理设置中，实现了对它们的泛化，增强了其理论基础。
• 通过使用自然梯度近似，该方法实现了稳定且自适应的参数更新，尤其在高维和非独立同分布（non-i.i.i.d.）设置中表现优异。
• 使用指数族分布可高效计算期望与矩，从而实现变分目标函数的可处理优化。
• 该框架可通过受控近似推导出新型算法变体，例如使用Delta近似处理二阶导数。
• 该法则的具体实例（如高斯分布与混合模型）可导出已知算法（如变分自编码器（VAEs）和混合密度网络），证明了其广泛应用的潜力。