[论文解读] Simple and Scalable Epistemic Uncertainty Estimation Using a Single Deep Deterministic Neural Network

Joost van Amersfoort, Lewis Smith+2 more|arXiv (Cornell University)|Mar 4, 2020

Anomaly Detection Techniques and Applications被引用 13

一句话总结

本文提出确定性不确定性量化（DUQ），一种单一的深度确定性神经网络，可在一次前向传播中估计认知不确定性并检测分布外（OOD）输入。通过结合RBF启发的网络结构、新型损失函数及梯度惩罚，DUQ在FashionMNIST与MNIST等OOD检测基准上达到最先进或具有竞争力的性能，其准确率与Softmax模型相当，且具备良好的可扩展性。

ABSTRACT

We propose a method for training a deterministic deep model that can find and reject out of distribution data points at test time with a single forward pass. Our approach, deterministic uncertainty quantification (DUQ), builds upon ideas of RBF networks. We scale training in these with a novel loss function and centroid updating scheme and match the accuracy of softmax models. By enforcing detectability of changes in the input using a gradient penalty, we are able to reliably detect out of distribution data. Our uncertainty quantification scales well to large datasets, and using a single model, we improve upon or match Deep Ensembles in out of distribution detection on notable difficult dataset pairs such as FashionMNIST vs. MNIST, and CIFAR-10 vs. SVHN.

研究动机与目标

• 开发一种无需集成的可扩展方法，用于估计深度神经网络中的认知不确定性。
• 仅通过一次前向传播，在测试阶段实现可靠的分布外（OOD）检测。
• 在保持Softmax模型准确率的同时，提升OOD检测性能。
• 利用确定性架构将不确定性估计扩展至大规模数据集。

提出的方法

• 该方法采用具有径向基函数（RBF）启发隐藏单元的深度确定性神经网络，以建模不确定性。
• 提出一种新型损失函数，实现网络端到端训练，同时强制检测分布偏移。
• 训练过程中使用质心更新策略，以稳定并扩展基于RBF的表征学习。
• 应用梯度惩罚，确保模型输出能对分布偏移做出可检测的变化。
• 模型在推理阶段被训练为对分布外输入产生高不确定性得分。
• 整个不确定性量化流程在测试阶段仅通过一次前向传播完成。

实验结果

研究问题

• RQ1 单一确定性深度神经网络是否可在无需模型集成的情况下实现具有竞争力的OOD检测性能？
• RQ2 基于RBF的架构结合新型损失函数，在测试输入中对分布偏移的检测能力有多强？
• RQ3 梯度惩罚在确定性模型中在多大程度上提升了对分布外样本的可检测性？
• RQ4 所提出方法在保持高准确率与不确定性校准的前提下，是否可扩展至大规模数据集？

主要发现

• DUQ在标准图像分类基准上的准确率与基于Softmax的模型相当。
• 在具有挑战性的FashionMNIST与MNIST OOD检测任务中，DUQ的性能优于或等同于深度集成模型。
• 在CIFAR-10与SVHN OOD检测基准上，DUQ以单一模型实现最先进或具有竞争力的结果。
• 该方法仅通过一次前向传播即可实现可靠的OOD检测，显著提升推理效率。
• 梯度惩罚有效增强了模型对分布偏移的敏感性，提升了检测可靠性。
• 所提出的包含质心更新与新型损失函数的训练方案，使大规模数据集上的可扩展训练成为可能。