[论文解读] Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning

Ankur Mallick, Chaitanya Dwivedi+3 more|arXiv (Cornell University)|Jul 18, 2020

Anomaly Detection Techniques and Applications参考文献 21被引用 4

一句话总结

本文提出概率邻域成分分析（PNCA），一种样本高效、具备不确定性感知能力的深度学习方法，通过在潜在空间中对预测建模为概率分布，将k近邻（kNN）方法进行泛化。PNCA在小样本场景下显著提升了不确定性估计性能，优于当前最先进的模型（如BNN和深度集成模型），在真实世界COVID-19 X光片分类任务中实现了更优的分布外（OOD）检测效果，同时保持了高准确率，且未造成准确率下降。

ABSTRACT

While Deep Neural Networks (DNNs) achieve state-of-the-art accuracy in various applications, they often fall short in accurately estimating their predictive uncertainty and, in turn, fail to recognize when these predictions may be wrong. Several uncertainty-aware models, such as Bayesian Neural Network (BNNs) and Deep Ensembles have been proposed in the literature for quantifying predictive uncertainty. However, research in this area has been largely confined to the big data regime. In this work, we show that the uncertainty estimation capability of state-of-the-art BNNs and Deep Ensemble models degrades significantly when the amount of training data is small. To address the issue of accurate uncertainty estimation in the small-data regime, we propose a probabilistic generalization of the popular sample-efficient non-parametric kNN approach. Our approach enables deep kNN classifier to accurately quantify underlying uncertainties in its prediction. We demonstrate the usefulness of the proposed approach by achieving superior uncertainty quantification as compared to state-of-the-art on a real-world application of COVID-19 diagnosis from chest X-Rays. Our code is available at https://github.com/ankurmallick/sample-efficient-uq

研究动机与目标

• 解决在训练数据有限时深度神经网络中不确定性估计性能下降的问题。
• 开发一种样本高效的方法，在低数据场景下保持高准确率的同时提供可靠的预测不确定性。
• 通过减少对误分类或分布偏移输入的过度自信，提升分布外（OOD）检测能力。
• 在高风险应用场景（如医学诊断）中，统一样本效率与不确定性校准。
• 在真实世界的小样本医学影像任务中（特别是基于胸部X光片的COVID-19检测），验证所提方法的优越性。

提出的方法

• PNCA通过神经网络学习可微的距离度量，将输入映射到潜在空间，从而扩展了邻域成分分析（NCA）。
• 它在潜在空间中基于k个最近邻的softmax输出，将每个输入建模为类别上的概率分布，实现概率化预测。
• 通过温度缩放的softmax与交叉熵损失进行端到端训练，以提升不确定性校准性能。
• 通过潜在空间中平方距离的指数函数计算选择邻居的概率，并在所有其他点间进行归一化。
• 该方法利用深度特征提取器（如ResNet-50）进行表征学习，随后通过可微的k近邻机制实现不确定性感知分类。
• PNCA通过随机梯度下降进行优化，不确定性量化基于邻居中最大类别概率得出。

实验结果

研究问题

• RQ1 在小样本场景下，如BNN和深度集成等最先进模型的不确定性估计性能如何退化？
• RQ2 能否将非参数化的kNN方法概率化泛化，以在低数据设置下保持样本效率与不确定性校准？
• RQ3 具有概率化邻居选择的深度kNN分类器是否在检测分布外输入方面优于标准DNN和不确定性感知模型？
• RQ4 与基线模型相比，PNCA在分布偏移或OOD测试数据上能将过度自信预测减少到何种程度？
• RQ5 在真实世界医学影像中，当标注数据有限时，PNCA能否同时实现高准确率与可靠的不确定性量化？

主要发现

• 在旋转MNIST数据集上，PNCA在高置信度水平下实现了更高准确率，且在OOD数据上的高置信度预测显著少于DNN、BNN和集成模型。
• 在not-MNIST OOD数据集上，与DNN和BNN相比，PNCA将高置信度预测数量减少了50%以上，展现出更优的OOD检测能力。
• 在真实世界的COVID-19 X光片分类任务中，PNCA在来自[4]的分布偏移测试数据上产生的高置信度预测远少于所有基线模型，包括BNN。
• 在肩部和手部X光片（真实OOD样本）上，PNCA的高置信度误分类远少于DNN和BNN，后者表现出强烈的过度自信。
• 尽管仅使用275张阳性与76张阴性X光片进行训练，PNCA在保持与DNN相当准确率的同时，提供了远为可靠的不确定性估计。
• 在分布偏移条件下，所提方法在准确率与不确定性校准方面均优于当前最先进的不确定性感知模型，尤其在低数据场景下表现更优。