[论文解读] Non-Parametric Outlier Synthesis

Leitian Tao, Xuefeng Du+2 more|arXiv (Cornell University)|Mar 6, 2023

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出非参数异常数据合成（NPOS），一种新颖的框架，可在不假设分布内（ID）嵌入服从参数分布的前提下生成人工分布外（OOD）数据。通过使用基于k-NN距离的非参数密度估计识别边界ID嵌入，并利用拒绝采样技术从以边界ID嵌入为中心的高斯核中合成异常值，NPOS在相同CLIP-B/16设置下将FPR95从41.87%降低至5.76%，实现了SOTA级别的OOD检测性能。

ABSTRACT

Out-of-distribution (OOD) detection is indispensable for safely deploying machine learning models in the wild. One of the key challenges is that models lack supervision signals from unknown data, and as a result, can produce overconfident predictions on OOD data. Recent work on outlier synthesis modeled the feature space as parametric Gaussian distribution, a strong and restrictive assumption that might not hold in reality. In this paper, we propose a novel framework, Non-Parametric Outlier Synthesis (NPOS), which generates artificial OOD training data and facilitates learning a reliable decision boundary between ID and OOD data. Importantly, our proposed synthesis approach does not make any distributional assumption on the ID embeddings, thereby offering strong flexibility and generality. We show that our synthesis approach can be mathematically interpreted as a rejection sampling framework. Extensive experiments show that NPOS can achieve superior OOD detection performance, outperforming the competitive rivals by a significant margin. Code is publicly available at https://github.com/deeplearning-wisc/npos.

研究动机与目标

• 为解决在真实机器学习部署中模型缺乏未知数据监督的OOD检测挑战。
• 克服先前异常数据合成方法（如VOS）中受限制的参数化高斯假设。
• 开发一种灵活且无分布假设的框架，用于生成可靠的合成OOD数据以供训练。
• 通过不确定性正则化学习ID与OOD数据之间的紧凑决策边界，提升模型鲁棒性。
• 仅使用ID数据在训练阶段，即可在大规模和零样本设置下实现有效的OOD检测。

提出的方法

• 基于最近邻距离的非参数k-NN密度估计，识别边界ID嵌入。
• 通过从以边界ID嵌入为中心的多变量高斯核中采样，合成人工异常值。
• 应用拒绝采样，仅保留似然度低的合成异常值，确保其位于OOD区域。
• 将异常数据合成过程形式化为拒绝采样框架，数学上近似水平集估计。
• 端到端训练模型，采用双损失：一个用于ID分类和特征紧凑性，另一个通过不确定性正则化实现OOD分离。
• 通过将样本拉向类别中心，优化ID表征的可区分性，从而提升密度估计的质量。

Figure 1: Illustration of our non-parametric outlier synthesis ( NPOS ). (a) Embeddings of ID data are optimized using Equation 8 , which facilitates learning distinguishable representations. (b) Boundary ID embeddings are selected based on the non-parametric $k$ -NN distance. (c) Outliers are synth

实验结果

研究问题

• RQ1 在不假设ID数据特定分布的前提下，非参数异常数据合成是否能优于参数化方法，在OOD检测中表现更优？
• RQ2 基于非参数密度估计的拒绝采样如何改善OOD检测的决策边界学习？
• RQ3 NPOS在不同模型架构和数据集（包括ImageNet）上的泛化能力如何？
• RQ4 与标准微调结合MSP评分相比，NPOS是否显著降低对OOD样本的过度自信？
• RQ5 在相同训练与评估条件下，NPOS与SOTA方法（如Fort等人，2021年；VOS，Du等人，2022c年）相比表现如何？

主要发现

• 在相同设置下微调CLIP-B/16时，NPOS将FPR95从41.87%（Fort等人，2021年）降低至5.76%，实现36.11%的性能提升。
• NPOS在FPR95上相比参数化基线VOS提升13.40%，证实了非参数异常数据合成的优势。
• 该方法在零样本和微调模型上均表现优异，包括在ImageNet上的表现，显示出良好的可扩展性与鲁棒性。
• 消融实验表明，非参数密度估计与拒绝采样是性能的关键组件。
• 该框架可端到端训练，且在同时优化ID分类与OOD分离目标时能够收敛。
• 代码、数据集和模型检查点已公开发布于 https://github.com/deeplearning-wisc/npos，确保可复现性。

Figure 2: (a) Ablation study on the regularization weight $\alpha$ on $R_{\textrm{open}}$ . (b) Ablation on the variance $\sigma^{2}$ for synthesizing outliers in Equation 5 . (c) Ablation on the $k$ for the $k$ -NN distance. The numbers are FPR95. The ID training dataset is ImageNet-100.