[论文解读] Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples

Kimin Lee, Honglak Lee+2 more|arXiv (Cornell University)|Nov 25, 2017

Advanced Statistical Process Monitoring被引用 365

一句话总结

本文提出一种置信度损失，用于训练分类器在分布外(OOD)数据上输出低置信度，并引入一个生成边界样本的GAN，从而联合训练一个有信心的分类器和一个对抗生成器，在不影响在分布内精度的前提下提升OOD检测。

ABSTRACT

The problem of detecting whether a test sample is from in-distribution (i.e., training distribution by a classifier) or out-of-distribution sufficiently different from it arises in many real-world machine learning applications. However, the state-of-art deep neural networks are known to be highly overconfident in their predictions, i.e., do not distinguish in- and out-of-distributions. Recently, to handle this issue, several threshold-based detectors have been proposed given pre-trained neural classifiers. However, the performance of prior works highly depends on how to train the classifiers since they only focus on improving inference procedures. In this paper, we develop a novel training method for classifiers so that such inference algorithms can work better. In particular, we suggest two additional terms added to the original loss (e.g., cross entropy). The first one forces samples from out-of-distribution less confident by the classifier and the second one is for (implicitly) generating most effective training samples for the first one. In essence, our method jointly trains both classification and generative neural networks for out-of-distribution. We demonstrate its effectiveness using deep convolutional neural networks on various popular image datasets.

研究动机与目标

• 为经常过于自信的分类器检测分布外样本的问题提供动机并形式化表述。
• 引入一个置信度损失，使模型对OOD输入的置信度降低，同时保持在分布内的准确性。
• 开发一个对抗生成器（GAN），用于产生位于在分布边界附近、信息量丰富的OOD样本。
• 提出一种分类器与GAN互相促进的联合训练方案，从而在多个数据集上提升OOD检测。
• 在多个图像数据集上展示在不牺牲分类性能的前提下提升的OOD检测性能。

提出的方法

• 定义一个置信度损失，增加一个KL散度项，迫使对OOD x的P_theta(y|x)接近均匀分布，同时对在分布内的x保持标准的交叉熵损失。
• 引入一个GAN：①通过对分类器最小化基于KL的项来生成边界样本状的OOD样本，②使用标准GAN损失使生成样本保持在接近在分布内。
• 给出一个联合目标，将分类器损失和GAN损失结合起来，使得对(G,D)和分类器参数theta的交替优化成为可能。
• 给出一个交替训练算法（Algorithm 1），逐步改进有信心的分类器和对抗生成器，并通过目标函数单调减小来提供收敛性保证。
• 在CIFAR-10、SVHN、ImageNet、LSUN和高斯噪声上使用CNN（如VGGNet、AlexNet）进行评估，采用基于阈值的检测器和标准的OOD评估指标。

实验结果

研究问题

• RQ1 基于置信度的目标是否能在不损害在分布内准确性的前提下提高在分布内与分布外预测之间的可分离性？
• RQ2 通过定制的GAN训练得到接近边界的OOD样本，是否比使用通用或合成的OOD数据得到更好的OOD检测器？
• RQ3 有自信的分类器和对抗生成器的联合训练是否在多个数据集和检测器上产生一致的提升？
• RQ4 在使用所提出的损失时，不同的分布外选择（seen 与 unseen）如何影响OOD检测性能？

主要发现

• 该置信度损失在多个在分布内/分布外对之间显著提升OOD检测指标（例如 TNR at 95% TPR、AUROC、AUPR），且不影响分类准确性。
• 现实的OOD数据（如LSUN、TinyImageNet）在优化KL项时比合成噪声更能提升检测器的效果。
• 所提出的GAN倾向于生成低密度的边界样本，引导分类器比标准GAN更有效地区分在分布内与分布外。
• 联合训练（分类器+GAN）在多数情况下优于仅使用交叉熵，且常常超过在显式OOD数据上单独训练KL项的效果。
• 引导的梯度可视化表明，置信度训练的模型在接近边界的情况下更关注输入的更具信息量的区域，与检测改进一致。
• 该方法在CIFAR-10和SVHN实验中在TNR和AUROC上获得显著提升，并且在未见的分布外数据集上保持竞争力。