[论文解读] Out-of-distribution Detection in Classifiers via Generation

Sachin Vernekar, Ashish Gaurav+4 more|arXiv (Cornell University)|Oct 9, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用 45

一句话总结

本文提出一种基于 CVAE 的方法，用以生成有效的 OOD 样本（类型 I 和类型 II），并训练一个 n+1 类分类器以实现鲁棒的 OOD 检测，在 MNIST 和 Fashion-MNIST 上的性能优于基线方法。

ABSTRACT

By design, discriminatively trained neural network classifiers produce reliable predictions only for in-distribution samples. For their real-world deployments, detecting out-of-distribution (OOD) samples is essential. Assuming OOD to be outside the closed boundary of in-distribution, typical neural classifiers do not contain the knowledge of this boundary for OOD detection during inference. There have been recent approaches to instill this knowledge in classifiers by explicitly training the classifier with OOD samples close to the in-distribution boundary. However, these generated samples fail to cover the entire in-distribution boundary effectively, thereby resulting in a sub-optimal OOD detector. In this paper, we analyze the feasibility of such approaches by investigating the complexity of producing such "effective" OOD samples. We also propose a novel algorithm to generate such samples using a manifold learning network (e.g., variational autoencoder) and then train an n+1 classifier for OOD detection, where the $n+1^{th}$ class represents the OOD samples. We compare our approach against several recent classifier-based OOD detectors on MNIST and Fashion-MNIST datasets. Overall the proposed approach consistently performs better than the others.

研究动机与目标

• 在用于实际部署的判别式训练分类器中，推动对可靠 OOD 检测的需求。
• 提出一种基于流形学习的、能生成多样且覆盖边界的 OOD 样本的原理性方法。
• 训练一个 n+1 类的 softmax 分类器，其中额外的第 n+1 类表示 OOD 样本，从而改善边界界定。
• 分析两类 OOD 样本（Type I 和 Type II），并展示它们如何覆盖在分布内的边界。
• 在 MNIST 和 Fashion-MNIST 数据集上进行经验比较，与你基于分类器的 OOD 检测器进行对比。

提出的方法

• 利用条件变分自编码器（CVAE）对每个类别的数据流形进行建模。
• 通过在数据流形法线方向（CVAE 解码器雅克比的左零空间）上扰动在分布内的样本来生成 Type I OOD 样本。
• 通过在潜在空间中对 CVAE 聚合后验的低密度区域进行采样并解码回输入空间，生成 Type II OOD 样本。
• 使用标准交叉熵训练一个 n+1 类分类器，其中 n+1 类表示 OOD 样本。
• 将 OOD 类的概率作为检测的 OOD 得分。
• 在 MNIST 和 Fashion-MNIST 上与 Confident-Classifier、ODIN、Mahalanobis 距离等基线方法进行比较。

实验结果

研究问题

• RQ1 基于 CVAE 的生成是否能够产生更有效覆盖分布内边界的 OOD 样本，优于基于 GAN 的方法？
• RQ2 Type I 与 Type II OOD 样本是否互为补充，能在训练 n+1 类分类器时获得稳健的 OOD 检测器？
• RQ3 在多个 OOD 数据集上，所提出的 OOD 生成策略相对于最先进的基于分类器的检测器的表现如何？
• RQ4 在使用 OOD 样本进行训练时，分布内分类准确率是否存在可测量的影响？
• RQ5 该方法在不同的分布内数据集（MNIST 与 Fashion-MNIST）以及不同的 OOD 来源下的鲁棒性如何？

主要发现

• 所提出的方法在 MNIST 和 Fashion-MNIST 的多个 OOD 数据集上，优于若干基于分类器的 OOD 检测器。
• 通过 CVAE 生成的 Type I 与 Type II OOD 样本，提供了对分布内边界的多样覆盖。
• 用生成的 OOD 样本进行训练（n+1 类）不会导致分布内准确率显著下降。
• 该方法在多样化的 OOD 数据集上保持稳健，并且不需要对每个数据集单独调节扰动幅度的超参数。
• 与 Confident-Classifier 基线相比，所提出的方法在若干指标（AUROC、AUPR、FPR、检测误差）上取得了显著提升。
• 该方法通过其基于流形的生成过程，为生成“有效” OOD 样本的复杂度提供了一个直观的度量。