[论文解读] Uncertainty in Neural Networks: Approximately Bayesian Ensembling

Tim Pearce, Felix Leibfried+3 more|arXiv (Cornell University)|Oct 12, 2018

Reservoir Engineering and Simulation Methods参考文献 25被引用 38

一句话总结

本文提出锚定集成（anchored ensembling）方法，通过将神经网络权重正则化至先验分布的样本，以近似贝叶斯推理。通过在标准集成中引入参数正则化，该方法获得的不确定性估计更接近贝叶斯方法，在回归、分类和强化学习任务的实验中，其性能优于标准集成，并与变分推理方法相当。

ABSTRACT

Understanding the uncertainty of a neural network's (NN) predictions is essential for many purposes. The Bayesian framework provides a principled approach to this, however applying it to NNs is challenging due to large numbers of parameters and data. Ensembling NNs provides an easily implementable, scalable method for uncertainty quantification, however, it has been criticised for not being Bayesian. This work proposes one modification to the usual process that we argue does result in approximate Bayesian inference; regularising parameters about values drawn from a distribution which can be set equal to the prior. A theoretical analysis of the procedure in a simplified setting suggests the recovered posterior is centred correctly but tends to have an underestimated marginal variance, and overestimated correlation. However, two conditions can lead to exact recovery. We argue that these conditions are partially present in NNs. Empirical evaluations demonstrate it has an advantage over standard ensembling, and is competitive with variational methods.

研究动机与目标

• 为解决深度神经网络中不确定性量化的问题，该问题在主动学习和对抗鲁棒性等实际应用中至关重要。
• 弥合实用集成方法与严谨贝叶斯推理之间的差距，后者对大规模模型而言计算上不可行。
• 开发一种可扩展且可实现的方法，通过参数正则化近似神经网络中的贝叶斯后验推理。
• 理论上分析锚定集成在何种条件下可恢复真实后验，并通过实证验证其在标准集成和变分推理中的性能表现。

提出的方法

• 锚定集成引入一个正则化项，将网络参数拉向从先验分布中采样的值，从而实现随机化MAP采样（RMS）。
• 该方法从先验分布中采样锚点参数，并训练集成中的每个网络以最小化围绕这些锚点的正则化损失函数。
• 理论分析表明，在多元正态假设下，该方法可恢复正确的后验均值，但低估边际方差并高估相关性。
• 在两种条件下可实现精确后验恢复：参数完全相关，或具有无限边际似然方差的参数（即“外推参数”）。
• 该方法通过参数空间抽象被扩展至分类任务，使其应用范围超越回归任务。
• 实证评估使用了回归、图像分类（CIFAR-10、MNIST）、情感分析（IMDb）和强化学习（FetchPush）的标准基准，与标准集成和变分推理进行比较。

实验结果

研究问题

• RQ1 对标准集成进行简单修改——将参数正则化至先验分布的样本——是否能产生近似贝叶斯推理的不确定性估计？
• RQ2 在何种理论条件下，锚定集成可精确恢复真实后验分布？
• RQ3 在多种任务中，锚定集成在预测不确定性与准确性方面与标准集成和变分推理相比表现如何？
• RQ4 实现精确后验恢复的理论条件（完全相关或无限方差）在真实神经网络中在多大程度上近似满足？

主要发现

• 锚定集成生成的预测分布在多个任务的可视化结果中，与高斯过程和精确贝叶斯方法的分布非常接近。
• 该方法在不确定性估计方面显著优于标准集成，尤其在分布外检测和泛化能力方面表现突出。
• 在CIFAR-10上，锚定集成的测试准确率与变分推理相当，但不确定性校准效果更优。
• 在FetchPush强化学习环境中，该方法实现了更有效的探索，并获得了高于标准集成的最终累积奖励。
• 实证结果表明，锚定集成在回归和分类任务中与最先进变分推理方法具有相当的竞争力。
• 理论分析确认，尽管该方法通常低估方差并高估相关性，但实现精确后验恢复的两个条件在神经网络中部分满足，这解释了其出色的实证性能。