[论文解读] On Last-Layer Algorithms for Classification: Decoupling Representation from Uncertainty Estimation

Nicolas Brosse, Carlos Riquelme+3 more|arXiv (Cornell University)|Jan 22, 2020

Anomaly Detection Techniques and Applications参考文献 73被引用 17

一句话总结

本文提出了一类末层算法，通过使用预训练主干网络提取的特征上的简单线性模型集成，将深度神经网络中的表征学习与不确定性估计解耦。实验表明，这些方法在选择性分类和分布外检测任务中显著优于标准SGD基线模型，尤其在ImageNet上表现突出，且计算开销极低，进一步深化不确定性建模的收益有限。

ABSTRACT

Uncertainty quantification for deep learning is a challenging open problem. Bayesian statistics offer a mathematically grounded framework to reason about uncertainties; however, approximate posteriors for modern neural networks still require prohibitive computational costs. We propose a family of algorithms which split the classification task into two stages: representation learning and uncertainty estimation. We compare four specific instances, where uncertainty estimation is performed via either an ensemble of Stochastic Gradient Descent or Stochastic Gradient Langevin Dynamics snapshots, an ensemble of bootstrapped logistic regressions, or via a number of Monte Carlo Dropout passes. We evaluate their performance in terms of \emph{selective} classification (risk-coverage), and their ability to detect out-of-distribution samples. Our experiments suggest there is limited value in adding multiple uncertainty layers to deep classifiers, and we observe that these simple methods strongly outperform a vanilla point-estimate SGD in some complex benchmarks like ImageNet.

研究动机与目标

• 为解决深度学习中不确定性量化问题，其中标准模型常错误地表示置信度。
• 在不牺牲性能的前提下，降低现代深度神经网络中不确定性估计的计算成本。
• 探究在最后一层之后添加不确定性层是否能带来实质性收益。
• 评估在预训练特征提取后估计不确定性的简单高效方法。
• 为深度学习中的全贝叶斯或复杂不确定性方法提供一种实用且可扩展的替代方案。

提出的方法

• 该方法通过端到端训练深度神经网络提取特征，然后固定这些特征并训练最终的线性分类器，从而实现表征学习与不确定性估计的解耦。
• 不确定性通过在固定特征上训练的四种技术的模型集成来估计：SGD快照、SGLD、自助采样和蒙特卡洛丢弃。
• 对于每个输入，模型输出集成中预测结果的分布，通过方差或熵实现不确定性估计。
• 该方法利用末层模型规模小、训练速度快的特点，以极低代价实现显式不确定性量化。
• 在选择性分类（风险-覆盖率权衡）和分布外检测（使用AUROC和AUPR指标）任务上评估该方法。
• 该框架基于Keras和TensorFlow实现，代码已公开。

实验结果

研究问题

• RQ1 将表征学习与不确定性估计解耦是否能带来更好的不确定性量化？
• RQ2 在实践中，不同末层不确定性估计方法（SGD、SGLD、自助采样、MC-Dropout）的表现如何比较？
• RQ3 在最终分类层之后添加不确定性层是否具有显著收益？
• RQ4 简单的末层集成方法是否能在ImageNet等真实世界基准中超越标准点估计SGD模型？
• RQ5 与基线模型相比，这些方法在检测分布外样本方面表现如何？

主要发现

• 末层集成方法在ImageNet的选择性分类任务中显著优于标准SGD基线，可在更低风险下实现更高覆盖率。
• 在CIFAR-100上，基于SGLD的末层方法实现了0.794的AUROC用于分布外检测，优于基线SGD方法（0.789）。
• 在MNIST上，MC-Dropout末层方法实现了0.935的AUPR，超过基线SGD（0.905），展现出强大的分布外检测能力。
• 自助采样和MC-Dropout方法在CIFAR-100上的AUPR提升最大，分别较基线提高了1.052。
• 结果表明，添加多个不确定性层的价值有限，因为末层方法已以远低的计算成本实现优异性能。
• 该方法在仅增加极少推理开销的前提下实现强大性能，使其在安全关键应用中具备实际部署可行性。