[论文解读] One Versus all for deep Neural Network Incertitude (OVNNI) quantification

Gianni Franchi, Andrei Bursuc+3 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用 9

一句话总结

本文提出OVNNI，一种新颖的非贝叶斯方法，通过结合One-vs-All（OVA）与All-vs-All（AVA）分类，实现深度神经网络中的不确定性量化。该方法通过融合OVA预测与经过校准的AVA DNN，提升了分布外（OOD）检测性能与模型校准能力，在极少超参数调优下实现了跨数据集的最先进性能。

ABSTRACT

Deep neural networks (DNNs) are powerful learning models yet their results are not always reliable. This is due to the fact that modern DNNs are usually uncalibrated and we cannot characterize their epistemic uncertainty. In this work, we propose a new technique to quantify the epistemic uncertainty of data easily. This method consists in mixing the predictions of an ensemble of DNNs trained to classify One class vs All the other classes (OVA) with predictions from a standard DNN trained to perform All vs All (AVA) classification. On the one hand, the adjustment provided by the AVA DNN to the score of the base classifiers allows for a more fine-grained inter-class separation. On the other hand, the two types of classifiers enforce mutually their detection of out-of-distribution (OOD) samples, circumventing entirely the requirement of using such samples during training. Our method achieves state of the art performance in quantifying OOD data across multiple datasets and architectures while requiring little hyper-parameter tuning.

研究动机与目标

• 为解决深度神经网络中可靠不确定性估计的缺乏，特别是认知不确定性与分布外（OOD）检测问题。
• 克服标准DNN在预测中过度自信的问题，尤其是在安全关键型应用中。
• 开发一种方法，在无需贝叶斯推断或训练期间使用OOD数据的情况下，提升不确定性量化能力。
• 证明基于OVA的集成方法，若与AVA校准结合，可在校准与OOD检测方面超越现有最先进技术。

提出的方法

• 训练一组One-vs-All（OVA）分类器，每个分类器用于将某一类与其他所有类别区分开。
• 训练一个独立的All-vs-All（AVA）DNN，为同一分类任务提供校准后的置信度分数。
• 利用AVA DNN的输出作为局部可靠性代理，对OVA分类器的得分进行调整，以优化不确定性估计。
• 使用胜者全取规则聚合调整后的OVA得分，生成最终预测结果与不确定性分数。
• 将组合得分用作检测OOD样本的置信度指标，其中低分表示高不确定性。
• 利用AVA DNN的校准能力纠正OVA预测中的过度自信，从而提升整体可靠性。

实验结果

研究问题

• RQ1 在训练期间无需贝叶斯推断或OOD数据的情况下，结合OVA与AVA DNN是否能提升深度神经网络的不确定性量化？
• RQ2 与Deep Ensembles等最先进方法相比，所提出的OVNNI方法在模型校准与OOD检测方面表现如何？
• RQ3 将AVA DNN输出用作可靠性代理，能在多大程度上提升基于OVA集成方法对分布外样本的检测能力？
• RQ4 OVNNI框架是否在保持高准确率的同时，显著提升多种数据集与网络架构下的模型校准性能？
• RQ5 OVNNI的理论简洁性是否能促进其在需要可靠不确定性估计的实际应用中的广泛采用？

主要发现

• OVNNI在多个数据集（包括CIFAR10、SVHN、Camvid、StreetHazards与BDD Anomaly）上实现了OOD检测的最先进性能。
• 在Camvid数据集上，OVNNI在Corbière等人提出的指标上提升最高达77%，在模型校准方面也提升最高达77%。
• 在StreetHazards数据集上，OVNNI在OOD检测指标上相比最佳先前结果最高提升42.8%。
• 在BDD Anomaly数据集上，OVNNI在校准方面至少提升48%，在其他指标上至少提升22%，展现出强大的泛化能力。
• OVNNI实现了最佳的校准性能，准确率-置信度曲线与校准曲线显示出置信度与实际准确率之间更优的一致性。
• 该方法使期望校准误差（ECE）相比最先进方法降低2%，表明其置信度估计更加校准良好。