[论文解读] On the Validity of Bayesian Neural Networks for Uncertainty Estimation

John Mitros, Brian Mac Namee|arXiv (Cornell University)|Dec 3, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 23

一句话总结

本文评估了贝叶斯神经网络（BNNs）与标准点估计深度神经网络（DNNs）在不确定性估计方面的表现，结果表明BNNs能提供更校准的预测结果，并在检测分布外样本方面表现更优。在多种架构和数据集上，BNNs持续降低了校准误差，并提高了分布内与分布外预测之间的对称KL散度，表明其不确定性量化能力得到提升。

ABSTRACT

Deep neural networks (DNN) are versatile parametric models utilised successfully in a diverse number of tasks and domains. However, they have limitations---particularly from their lack of robustness and over-sensitivity to out of distribution samples. Bayesian Neural Networks, due to their formulation under the Bayesian framework, provide a principled approach to building neural networks that address these limitations. This paper describes a study that empirically evaluates and compares Bayesian Neural Networks to their equivalent point estimate Deep Neural Networks to quantify the predictive uncertainty induced by their parameters, as well as their performance in view of this uncertainty. In this study, we evaluated and compared three point estimate deep neural networks against comparable Bayesian neural network alternatives using two well-known benchmark image classification datasets (CIFAR-10 and SVHN).

研究动机与目标

• 探究贝叶斯神经网络（BNNs）是否相较于标准点估计深度神经网络（DNNs）能提供更可靠、更校准的不确定性估计。
• 评估DNNs与BNNs通过不确定性量化检测分布外（OoD）样本的能力。
• 评估标准与贝叶斯深度学习框架中模型准确率与校准性能之间的权衡。
• 比较不同BNN近似方法——蒙特卡洛Dropout、SWAG和变分推断——在不确定性估计与鲁棒性方面的表现。

提出的方法

• 使用SGD训练标准DNNs并采用softmax输出进行点估计分类，其中置信度分数来自归一化的指数logits。
• 应用三种贝叶斯神经网络方法：蒙特卡洛Dropout（MC Dropout）、SWAG（基于集成的近似后验）以及通过权重分布的变分推断。
• 使用期望校准误差（ECE）和可靠性图评估预测结果的置信度校准程度。
• 通过分布内与分布外样本置信度分布之间的对称KL散度和分布熵，评估分布外检测性能。
• 将数据集（CIFAR-10、SVHN、FashionMNIST）划分为两个五分类子集，以模拟分布内（训练）与分布外（测试）场景。
• 通过类别置信度分布的熵来度量不确定性，并使用对称KL散度比较分布内与分布外集合之间的分布差异。

实验结果

研究问题

• RQ1 贝叶斯神经网络是否相较于标准点估计深度神经网络提供更校准的不确定性估计？
• RQ2 贝叶斯神经网络是否能通过更高的预测不确定性更有效地识别分布外样本？
• RQ3 不同贝叶斯近似方法（MC Dropout、SWAG、变分推断）在校准与分布外检测方面的表现如何比较？
• RQ4 DNNs与BNNs中是否存在模型准确率与校准性能之间的权衡？
• RQ5 模型复杂度是否与点估计DNNs中校准误差的增加相关？贝叶斯神经网络能否缓解此问题？

主要发现

• 点估计DNNs表现出较高的校准误差（例如，VGG16-SGD在CIFAR-10上的ECE为0.0677），表明尽管准确率高，其置信度校准性差。
• 贝叶斯神经网络显著降低了期望校准误差：WideResNet28x10-SWAG在CIFAR-10上达到ECE为0.0098，为所有模型中最低。
• BNNs如PreResNet164-MC Dropout和WideResNet28x10-SWAG在分布内与分布外置信度分布之间表现出更高的对称KL散度（例如，SVHN上为6.27），表明其具备更好的分布外检测能力。
• 如VGG16-SGD和VGG16-MC Dropout在SVHN上分别达到对称KL散度5.64和6.27，某些情况下优于许多BNN变体，但总体而言BNNs表现出更一致的性能。
• 基于SWAG的BNNs（如WideResNet28x10-SWAG）在ECE（0.0098）和分布外检测得分（SVHN上为3.65）方面均达到最低值，表明其在校准与不确定性量化方面表现优异。
• 深度高斯过程（非DNN基线）表现出较差的校准性（ECE = 0.1418）和弱分布外检测能力（CIFAR-10上对称KL为0.80），凸显了结合贝叶斯推断的深度神经网络架构的优势。