[论文解读] Uncertainty in Neural Networks: Bayesian Ensembling.

Tim Pearce, Mohamed Zaki+2 more|arXiv (Cornell University)|Oct 12, 2018

Gaussian Processes and Bayesian Inference参考文献 28被引用 64

一句话总结

本文提出了一种改进的神经网络集成方法，通过将模型参数正则化至从先验分布中抽取的值，实现贝叶斯不确定性量化。该方法提供了一种可扩展且实用的传统贝叶斯神经网络的替代方案，在不损失性能的前提下，提供了校准良好的不确定性估计。

ABSTRACT

Understanding the uncertainty of a neural network's (NN) predictions is essential for many applications. The Bayesian framework provides a principled approach to this, however applying it to NNs is challenging due to the large number of parameters and data. Ensembling NNs provides a practical and scalable method for uncertainty quantification. Its drawback is that its justification is heuristic rather than Bayesian. In this work we propose one modification to the usual ensembling process, that does result in Bayesian behaviour: regularising parameters about values drawn from a prior distribution. Hence, we present an easily implementable, scalable technique for performing approximate Bayesian inference in NNs.

研究动机与目标

• 为解决深度神经网络中不确定性量化的挑战，这对现实应用中的可靠决策至关重要。
• 弥合神经网络中启发式集成与严谨的贝叶斯推断之间的差距。
• 开发一种可扩展且易于实现的方法，以近似大型神经网络中的贝叶斯推断。
• 提供一种基于正则化的集成技术，从贝叶斯框架内为集成提供理论依据。

提出的方法

• 该方法通过引入一个正则化项来修改标准集成，该正则化项将每个模型的参数拉向从先验分布中抽取的值。
• 集成中的每个模型均通过权重衰减损失进行训练，以促使参数保持在独立抽取的先验样本附近。
• 正则化按模型独立应用，确保每个网络学习到一个独特但受先验信息指导的表示。
• 最终预测通过集成中所有预测的平均值得到，不确定性则通过预测方差估计。
• 该方法具有可扩展性，且与标准深度学习框架兼容，仅需对网络架构进行极少修改。
• 该方法通过在优化过程中嵌入先验知识，有效将启发式集成转化为贝叶斯近似。

实验结果

研究问题

• RQ1 能否通过简单修改训练过程，正式地在贝叶斯框架内为集成提供理论依据？
• RQ2 将神经网络参数正则化至先验样本是否能在不降低预测准确率的前提下改善不确定性校准？
• RQ3 该方法是否能在计算开销极小的情况下，为大型神经网络提供校准良好的不确定性估计？
• RQ4 与标准集成和完整贝叶斯推断相比，该方法在不确定性质量与可扩展性方面表现如何？

主要发现

• 通过显式地将参数正则化至先验样本，该方法在集成中实现了贝叶斯行为，为集成预测提供了严谨的理论依据。
• 该方法可产生校准良好的不确定性估计，其预测方差能可靠地反映真实预测误差。
• 该方法具有可扩展性和实用性，仅需对标准训练流程进行微小修改。
• 实验结果表明，与标准集成相比，该方法的不确定性估计更为可靠，尤其在分布外设置下表现更优。