[论文解读] Single-Model Uncertainties for Deep Learning

Nataša Tagasovska, David López-Paz|arXiv (Cornell University)|Nov 2, 2018

Adversarial Robustness in Machine Learning被引用 80

一句话总结

本文介绍了两种用于深度学习的单模型不确定性估计器：用于本质不确定性的同时分位数回归（Simultaneous Quantile Regression，SQR）以及用于认知性不确定性的正交证书（Orthonormal Certificates，OCs），在不进行集成或再训练的情况下取得了有竞争力的结果。

ABSTRACT

We provide single-model estimates of aleatoric and epistemic uncertainty for deep neural networks. To estimate aleatoric uncertainty, we propose Simultaneous Quantile Regression (SQR), a loss function to learn all the conditional quantiles of a given target variable. These quantiles can be used to compute well-calibrated prediction intervals. To estimate epistemic uncertainty, we propose Orthonormal Certificates (OCs), a collection of diverse non-constant functions that map all training samples to zero. These certificates map out-of-distribution examples to non-zero values, signaling epistemic uncertainty. Our uncertainty estimators are computationally attractive, as they do not require ensembling or retraining deep models, and achieve competitive performance.

研究动机与目标

• 提供深度神经网络中本质不确定性和认知性不确定性的单模型估计。
• 开发一种可扩展的方法，在不进行模型集成或再训练的情况下获得预测区间。
• 提供对相关不确定性估计方法的统一讨论，以定位所提出的方法。

提出的方法

• 同时分位数回归（SQR）通过最小化随机化的 pinball 损失来共同学习所有条件分位数，从而实现非高斯、偏态和异方差的本质不确定性。
• 通过估计分位数得到预测区间，u_a(x*) = f(x*,1−α/2) − f(x*,α/2)。
• 正交证书（OCs）构建一组多样化的、非常量的证书函数 C，将训练表示 φ(x) 映射到零，利用 u_e(x*) = ||C^T φ(x*)||^2 实现对出域样本的检测。
• 证书通过正交性约束进行训练以确保多样性，实施为最小化带有正则项 ||C^T C − I_k|| 的损失。
• OC 的理论分析包括尾部界，描述同域与异域分布之间的分离。
• 该方法可通过在最后一层表示上堆叠，兼容任何预训练网络。

实验结果

研究问题

• RQ1 单个神经网络模型是否可以在不进行集成的情况下提供对本质不确定性的可靠、校准的预测区间？
• RQ2 单模型方法是否在不重新训练或大量超参数调优的情况下有效检测认知性不确定性和出域样本？
• RQ3 在标准基准测试上，SQR 和 OC 方法与现有不确定性估计方法在实际表现上有何比较？
• RQ4 有哪些理论保证或见解支持正交证书在区分同域与出域数据方面的行为？

主要发现

• SQR 提供良好校准的 1−α 预测区间，且无需模型集成就可建模复杂的非高斯本质不确定性。
• OCs 在单模型下提供具有竞争力的出分布检测性能，通常在多个数据集上优于若干基线。
• SQR 可以作为额外的输出层添加到任意神经网络，而不损害性能也无需重新训练。
• OC 的理论分析包括尾部界，描述同域与出域数据的认知性不确定性行为。
• 所提出的方法在与集成相比减少计算和存储的同时获得竞争性结果。