[论文解读] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

Balaji Lakshminarayanan, Alexander Pritzel+1 more|arXiv (Cornell University)|Dec 5, 2016

Adversarial Robustness in Machine Learning被引用 2,980

一句话总结

本文提出一种简单、可扩展的非贝叶斯方法，利用深度集成（可选对抗训练）通过适当 scoring 规则训练来估计预测不确定性，展示在包括 ImageNet 的任务中，校准的不确定性和对领域移位的鲁棒性。

ABSTRACT

Deep neural networks (NNs) are powerful black box predictors that have recently achieved impressive performance on a wide spectrum of tasks. Quantifying predictive uncertainty in NNs is a challenging and yet unsolved problem. Bayesian NNs, which learn a distribution over weights, are currently the state-of-the-art for estimating predictive uncertainty; however these require significant modifications to the training procedure and are computationally expensive compared to standard (non-Bayesian) NNs. We propose an alternative to Bayesian NNs that is simple to implement, readily parallelizable, requires very little hyperparameter tuning, and yields high quality predictive uncertainty estimates. Through a series of experiments on classification and regression benchmarks, we demonstrate that our method produces well-calibrated uncertainty estimates which are as good or better than approximate Bayesian NNs. To assess robustness to dataset shift, we evaluate the predictive uncertainty on test examples from known and unknown distributions, and show that our method is able to express higher uncertainty on out-of-distribution examples. We demonstrate the scalability of our method by evaluating predictive uncertainty estimates on ImageNet.

研究动机与目标

• 在深度神经网络中超越标准准确率，说明对可靠预测不确定性的需求。
• 提出一种简单、可扩展的方法，结合概率神经网络、适当评分规则、对抗训练和集成。
• 在分类和回归基准上评估校准和对分布外数据的鲁棒性，包括 ImageNet。
• 提供一种实用、适合分布式训练的预测不确定性基线，能够与近似贝叶斯方法媲美。

提出的方法

• 训练建模 p_theta(y|x) 的概率神经网络，使用合适的评分规则（例如对数似然、Brier 分数）。
• 对于回归，让网络输出均值与方差，并通过 softplus 转换最小化带正方差的负对数似然。
• 可选地应用对抗训练，通过使用对抗样本来平滑预测分布。
• 训练一个由 M 个网络组成的集成（不做 bagging；每个网络使用全部数据），通过求平均来形成混合模型的预测。
• 通过匹配混合均值与方差，将集成预测分布近似为高斯分布，以实现对预测概率和区间的高效计算。

实验结果

研究问题

• RQ1 深度集成是否能提供与近似贝叶斯方法相当或更好的校准预测不确定性？
• RQ2 对抗性训练是否能提高预测不确定性的平滑性和可靠性？
• RQ3 集成规模如何影响校准、不确定性以及对分布外数据的鲁棒性？
• RQ4 这些非贝叶斯集成是否能扩展到大规模数据集（如 ImageNet），同时保持不确定性质量？
• RQ5 在分类任务中，对已知分布和未知分布（分布外）的表现如何？

主要发现

• 在回归和分类任务中，采用带有适当评分规则训练的深度集成往往能得到与 MC-dropout 和 PBP 相当或更好的校准预测不确定性。
• 对抗训练可以进一步平滑预测分布并在某些数据集上改善不确定性估计，尽管其收益因任务和集成规模而异。
• 增加集成规模 M 可以显著提升准确性和预测不确定性的质量（更低的 NLL 和 Brier 分数，更好的校准）。
• 在 ImageNet 上，集成在分类准确性和预测不确定性（更低的 NLL 和 Brier 分数）方面均优于单一模型。
• 该方法对分布外输入（例如 MNIST 与 NotMNIST、SVHN 与 CIFAR-10）显示出更高的预测不确定性，解决了未见类别的过度自信问题。
• 在以固定置信度阈值评估准确性时，深度集成比 MC-dropout 更具鲁棒性，减少了过于自信的错误预测。