[论文解读] Weight Uncertainty in Neural Networks

Charles Blundell, Julien Cornebise+2 more|arXiv (Cornell University)|May 20, 2015

Adversarial Robustness in Machine Learning参考文献 29被引用 1,272

一句话总结

该论文提出贝叶斯反向传播（Bayes by Backprop），一种可微分、兼容反向传播的算法，通过变分推断学习神经网络权重的概率分布。其性能在MNIST上与Dropout相当，在回归任务中通过不确定性感知预测改善泛化能力，并在强化学习中通过Thompson采样实现自然探索，同时在标准深度学习硬件上实现高效扩展。

ABSTRACT

We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called Bayes by Backprop. It regularises the weights by minimising a compression cost, known as the variational free energy or the expected lower bound on the marginal likelihood. We show that this principled kind of regularisation yields comparable performance to dropout on MNIST classification. We then demonstrate how the learnt uncertainty in the weights can be used to improve generalisation in non-linear regression problems, and how this weight uncertainty can be used to drive the exploration-exploitation trade-off in reinforcement learning.

研究动机与目标

• 为解决标准神经网络中的过拟合和不确定性估计不足问题，提出基于权重不确定性的系统化方法。
• 开发一种可扩展、兼容反向传播的贝叶斯神经网络方法，实现不确定性感知预测。
• 展示权重不确定性如何提升回归任务中的泛化能力，并在上下文Bandit任务中实现有效探索。
• 提供统一框架，通过单一概率权重分布实现正则化、模型平均和探索。

提出的方法

• 应用变分推断，使用参数化分布近似网络权重的真实后验分布，最小化变分自由能（证据下界）。
• 使用重参数化梯度，实现无偏、可微分的变分目标优化，兼容标准反向传播。
• 将每个权重表示为分布（如高斯分布），支持通过蒙特卡洛采样进行随机前向传播和梯度估计。
• 引入压缩代价（变分自由能），通过偏好更简单、更易压缩且能良好解释数据的分布来正则化权重。
• 通过从权重后验中进行蒙特卡洛采样实现模型平均，无需显式训练多个网络。
• 支持非高斯先验，且与标准深度学习框架兼容，可在GPU上高效训练。

实验结果

研究问题

• RQ1 一种可微分、兼容反向传播的方法能否在深度神经网络中学习到有意义的权重不确定性？
• RQ2 通过变分推断实现的权重不确定性是否在回归任务中优于标准网络，从而改善泛化性能？
• RQ3 权重不确定性能否在上下文Bandit问题中自然驱动探索，优于ε-greedy策略？
• RQ4 贝叶斯反向传播在标准基准测试中的性能与已建立的正则化技术（如Dropout）相比如何？

主要发现

• 贝叶斯反向传播在MNIST上的测试准确率与Dropout相当，证明了通过权重不确定性实现有效正则化的有效性。
• 在非线性回归中，贝叶斯网络在数据稀疏区域产生更宽的预测区间，反映不确定性，而标准网络则表现出过度自信。
• 在蘑菇上下文Bandit任务中，贝叶斯代理从一开始就实现了有效的探索，其近似最优遗憾值远快于ε-greedy代理。
• 采用5%探索率的ε-greedy代理过度探索，而贪婪代理因初始策略不佳而最初未能探索，但最终有所改善。
• 贝叶斯反向传播代理在整个过程中保持低遗憾，表明基于不确定性的探索比ε-greedy更系统、更高效。
• 该方法在标准深度学习硬件和异步SGD等优化方案下实现高效扩展。