[论文解读] Variational Inference to Measure Model Uncertainty in Deep Neural Networks

Konstantin Posch, Jan Steinbrener+1 more|arXiv (Cornell University)|Feb 26, 2019

Gaussian Processes and Bayesian Inference参考文献 21被引用 12

一句话总结

本文提出一种变分推断方法，通过学习与均值权重平方成比例的逐层参数方差，量化深度神经网络中的模型不确定性，实现仅需极少额外参数的贝叶斯深度学习。与标准网络相比，该方法在MNIST数据集上将测试误差降低了15%，同时提供可靠的预测可信区间，并能识别出高度自信但错误的预测。

ABSTRACT

We present a novel approach for training deep neural networks in a Bayesian way. Classical, i.e. non-Bayesian, deep learning has two major drawbacks both originating from the fact that network parameters are considered to be deterministic. First, model uncertainty cannot be measured thus limiting the use of deep learning in many fields of application and second, training of deep neural networks is often hampered by overfitting. The proposed approach uses variational inference to approximate the intractable a posteriori distribution on basis of a normal prior. The variational density is designed in such a way that the a posteriori uncertainty of the network parameters is represented per network layer and depending on the estimated parameter expectation values. This way, only a few additional parameters need to be optimized compared to a non-Bayesian network. We apply this Bayesian approach to train and test the LeNet architecture on the MNIST dataset. Compared to classical deep learning, the test error is reduced by 15%. In addition, the trained model contains information about the parameter uncertainty in each layer. We show that this information can be used to calculate credible intervals for the prediction and to optimize the network architecture for a given training data set.

研究动机与目标

• 为解决经典深度学习中参数被视为确定性值而缺乏模型不确定性估计的问题。
• 通过引入贝叶斯框架，减少深度网络在小样本训练数据下的过拟合。
• 通过可信区间实现预测的实用不确定性量化，且计算开销无显著增加。
• 通过利用逐层参数不确定性，支持数据驱动的网络架构优化。
• 提供一种可扩展的贝叶斯深度学习方法，仅需在标准训练基础上增加少量额外参数。

提出的方法

• 该方法使用变分推断，通过正态先验近似网络权重后验分布的不可计算形式。
• 变分后验通过与权重和偏置期望的平方成比例的逐层特定方差进行参数化。
• 每层使用单一缩放因子控制权重和偏置分布的方差，从而最小化额外参数数量。
• 推理过程中，通过多次使用采样权重的前向传播估计预测不确定性，并构建95%可信区间。
• 模型通过随机梯度下降端到端训练，同时优化网络权重和逐层方差缩放因子。
• 该方法在LeNet架构上对MNIST图像分类任务进行了评估，比较了贝叶斯与非贝叶斯变体。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯深度学习方法，在计算成本极低的前提下同时量化模型与预测不确定性？
• RQ2 所提出的逐层方差参数化在小样本数据环境下对泛化性能与过拟合有何影响？
• RQ3 不确定性估计在多大程度上能识别出高度自信但错误的预测？其表现与标准网络的置信度分数相比如何？
• RQ4 不确定性信息能否用于指导网络架构设计或提升模型鲁棒性？
• RQ5 从贝叶斯模型推导出的可信区间与测试数据上实际预测可靠性相比如何？

主要发现

• 与标准非贝叶斯LeNet相比，贝叶斯模型在MNIST数据集上将测试误差降低了15%。
• 该网络成功识别出14张其预测高度自信但错误的图像，凸显了确定性预测可能过度自信的风险。
• 在94%的误分类图像中，网络表现出不确定性（不在95%可信区间内），表明不确定性估计可有效标识不可靠预测。
• 该方法通过多次使用采样权重的前向传播，成功生成了可解释的预测可信区间。
• 该模型在防止过拟合方面表现出更强的鲁棒性，尤其在低数据量场景下优势显著。
• 该方法实现了实用的不确定性量化，且训练与推理成本无显著增加。