[论文解读] Nonparametric Uncertainty Quantification for Single Deterministic Neural Network

Nikita Kotelevskii, Aleksandr Artemenkov+7 more|arXiv (Cornell University)|Feb 7, 2022

Machine Learning and Data Classification被引用 8

一句话总结

本文提出非参数不确定性量化（NUQ），一种快速、可扩展的方法，用于单个确定性神经网络中的不确定性估计。通过在潜在表征上使用Nadaraya-Watson核平滑来估计条件标签分布，NUQ实现了对偶然性不确定性与认知性不确定性的合理解耦，在图像和文本基准测试（包括ImageNet、MNIST和GLUE数据集）中表现优于MaxProb和DDU等基线方法，尤其在低数据场景下优势显著。

ABSTRACT

This paper proposes a fast and scalable method for uncertainty quantification of machine learning models' predictions. First, we show the principled way to measure the uncertainty of predictions for a classifier based on Nadaraya-Watson's nonparametric estimate of the conditional label distribution. Importantly, the proposed approach allows to disentangle explicitly aleatoric and epistemic uncertainties. The resulting method works directly in the feature space. However, one can apply it to any neural network by considering an embedding of the data induced by the network. We demonstrate the strong performance of the method in uncertainty estimation tasks on text classification problems and a variety of real-world image datasets, such as MNIST, SVHN, CIFAR-100 and several versions of ImageNet.

研究动机与目标

• 解决单个确定性神经网络中缺乏原则性、可扩展的不确定性量化方法的问题。
• 克服现有方法依赖强假设（例如潜在空间中的正态性）或计算成本过高的局限性。
• 在资源有限的设置中实现可靠的不确定性估计，此时模型不确定性最为关键。
• 提供一个统一框架，实现偶然性与认知性不确定性的解耦，而无需使用集成方法或贝叶斯推断。
• 通过直接在任何训练网络的特征空间中操作，确保方法可应用于多种深度学习模型。

提出的方法

• 将不确定性建模为点态贝叶斯风险（错误预测的概率），该风险源自条件标签分布的Nadaraya-Watson估计器。
• 使用潜在空间中训练嵌入的核平滑方法，对测试点处的类别概率进行非参数估计。
• 对Nadaraya-Watson估计器应用渐近正态近似，推导出贝叶斯风险的上界，作为总不确定性的估计值。
• 通过将风险上界分解为数据模糊性（偶然性）和模型不确定性（认知性）两项，实现总不确定性的解耦。
• 通过使用近似最近邻技术实现高效计算，提升可扩展性，使方法可应用于ImageNet等大规模数据集。
• 通过利用任何神经网络的预训练特征表示作为核平滑不确定性估计的输入，使方法可应用于任意神经网络。

实验结果

研究问题

• RQ1 基于潜在空间中核平滑的非参数方法是否能在不使用集成或贝叶斯推断的前提下，提供可靠的不确定性估计？
• RQ2 与现有基线方法相比，该方法在解耦偶然性与认知性不确定性方面表现如何？
• RQ3 在分布假设常不成立的低数据场景下，该方法是否仍能保持良好性能？
• RQ4 该方法在ImageNet-O和ImageNet-R等标准基准上的分布外（OOD）检测性能是否达到最先进水平？
• RQ5 该方法在大规模数据集（如ImageNet）上的可扩展性如何？其计算效率与集成方法或蒙特卡洛方法相比如何？

主要发现

• 在使用集成方法的情况下，NUQ在ImageNet-O上的ROC-AUC得分为59.1，在ImageNet-R上为76.1，优于MaxProb及其他基线方法。
• 在Two Moons模拟数据集上，NUQ即使仅使用200个训练样本，也能正确识别模糊区域的高不确定性，而DDU则未能检测到此类不确定性。
• 在GLUE基准的文本分类任务中，NUQ实现了最先进性能，基于ELECTRA模型的实验中，ROSTD数据集准确率最高达0.995，CLINC数据集达0.979。
• 该方法在低资源设置下表现出强鲁棒性：当训练数据稀缺时，仍能保持高质量的不确定性估计，而依赖正态性假设的方法则表现不佳。
• NUQ的不确定性解耦能力可同时识别出模糊的分布内样本（高偶然性不确定性）和分布外样本（高认知性不确定性），从而支持更优的主动学习与人机协同决策。
• 该方法在大规模数据集（如ImageNet）上具有高效可扩展性，计算成本与推理时间相当，适用于实际部署。