[论文解读] Out-of-Distribution Detection with Deep Nearest Neighbors

Yiyou Sun, Yifei Ming+2 more|arXiv (Cornell University)|Apr 13, 2022

Anomaly Detection Techniques and Applications被引用 61

一句话总结

这篇论文提出一种基于非参数的基于最近邻的OOD检测器，工作在深特征空间， 在没有分布假设的情况下实现强大性能，并可扩展到如 ImageNet 这样的大数据集，通常优于参数基线。

ABSTRACT

Out-of-distribution (OOD) detection is a critical task for deploying machine learning models in the open world. Distance-based methods have demonstrated promise, where testing samples are detected as OOD if they are relatively far away from in-distribution (ID) data. However, prior methods impose a strong distributional assumption of the underlying feature space, which may not always hold. In this paper, we explore the efficacy of non-parametric nearest-neighbor distance for OOD detection, which has been largely overlooked in the literature. Unlike prior works, our method does not impose any distributional assumption, hence providing stronger flexibility and generality. We demonstrate the effectiveness of nearest-neighbor-based OOD detection on several benchmarks and establish superior performance. Under the same model trained on ImageNet-1k, our method substantially reduces the false positive rate (FPR@TPR95) by 24.77% compared to a strong baseline SSD+, which uses a parametric approach Mahalanobis distance in detection. Code is available: https://github.com/deeplearning-wisc/knn-ood.

研究动机与目标

• 推动并评估一种非参数的 OOD 检测方法，避免对特征空间的分布假设。
• 展示深度 KNN 距离可以通过对 k-NN 距离使用简单阈值来分离 ID 与 OOD 数据。
• 展示在不同模型架构和训练损失（CE 和 SupCon）下的鲁棒性。
• 在污染模型下，提供将基于 KNN 的决策与贝叶斯最优检测联系起来的理论证明。

提出的方法

• 对训练和测试样本计算归一化的倒数第二层特征 z = phi(x)/||phi(x)||_2。
• 在测试时，计算到训练嵌入 Z_n 的第 k 最近邻距离 r_k(z*)。
• 若 -r_k(z*) >= lambda 则宣布为 OOD，其中 lambda 的取值使得大部分（例如 95%）的 ID 数据被正确分类。
• 使用 Faiss 对预计算的 ID 嵌入执行高效的近似最近邻搜索。
• 显示与不同骨干网（CNNs 和 ViT）以及训练损失（CE 和 SupCon）的兼容性。
• 可选地应用激活整 Rectification（ReAct）并比较第 k 个距离与平均 k 距离。

实验结果

研究问题

• RQ1 在不对特征空间的参数形式做假设的情况下，非参数最近邻距离是否足以实现有效的 OOD 检测？
• RQ2 在不同架构（CNNs、ViTs）和训练损失（CE、SupCon）下，基于 KNN 的 OOD 检测表现如何？
• RQ3 哪些设计选择（归一化、特征空间选择、k 值、采样）对 OOD 检测性能和速度影响最大？
• RQ4 基于 KNN 的 OOD 检测是否能扩展到像 ImageNet 这样的大型数据集，并具有有竞争力的推断时间？

主要发现

• 在同一 ImageNet-1k 模型下，基于 KNN 的 OOD 检测相比强基线 Mahalanobis 显著降低误报率（在 FPR@TPR95 上提升 24.77%）。
• 在 CIFAR-10 与 SupCon 的设置下，KNN+ 在困难的 OOD 任务中比 SSD+ 拥有更低的 FPR95，表明非参数方法在对比学习表征下的优势。
• 表格引用的结果显示 KNN+ 在 CIFAR-10 的跨数据集平均下达到 11.07 FPR95，相较 IForest、OCSVM、LOF 等，显示出强大的非参数性能。
• 基于 KNN 的方法在大型数据集（接近 ImageNet 规模）上保持具有竞争力的推断速度，且仅需 1% 采样即可达到全数据集的性能。
• 在 ViT-B/16 上，KNN 在多个 OOD 数据集（iNaturalist、SUN、Places、Textures）上都优于 Mahalanobis。
• 激活整 Rectification（ReAct）进一步提升 KNN+ 的性能（ImageNet-1k 的 FPR95 从 38.47 降至 26.45）。