[论文解读] Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples

Kimin Lee, Honglak Lee+2 more|arXiv (Cornell University)|Nov 26, 2017

Adversarial Robustness in Machine Learning参考文献 28被引用 115

一句话总结

本文提出一种训练框架，通过加入置信度损失和边界导向的 GAN 来校准分类器的置信度，以区分同分布数据与异分布数据，从而在不降低同分布精度的前提下改善基于阈值的 OOD 检测。

ABSTRACT

The problem of detecting whether a test sample is from in-distribution (i.e., training distribution by a classifier) or out-of-distribution sufficiently different from it arises in many real-world machine learning applications. However, the state-of-art deep neural networks are known to be highly overconfident in their predictions, i.e., do not distinguish in- and out-of-distributions. Recently, to handle this issue, several threshold-based detectors have been proposed given pre-trained neural classifiers. However, the performance of prior works highly depends on how to train the classifiers since they only focus on improving inference procedures. In this paper, we develop a novel training method for classifiers so that such inference algorithms can work better. In particular, we suggest two additional terms added to the original loss (e.g., cross entropy). The first one forces samples from out-of-distribution less confident by the classifier and the second one is for (implicitly) generating most effective training samples for the first one. In essence, our method jointly trains both classification and generative neural networks for out-of-distribution. We demonstrate its effectiveness using deep convolutional neural networks on various popular image datasets.

研究动机与目标

• 通过解决深度网络的过度置信问题，推动鲁棒的 OOD 检测。
• 提出一种新的训练损失，使对 OOD 样本的置信度降低，同时保持对同分布数据的性能。
• 开发一个 GAN，生成有效的边界 OOD 样本以训练分类器。
• 实现一个联合训练框架，使自信的分类器和对抗生成器相互促进。

提出的方法

• 定义一个置信度损失，将标准交叉熵与 KL 发散项结合起来，促使 OOD 时 P(y|x) 趋向于均匀分布。
• 引入一个包含生成器 G 和判别器 D 的 GAN，其目标既生成低密度边界样本又与样本分布对齐，以创造具有挑战性的 OOD 样本（方程 (2) 与 (3)）。
• 给出一个联合训练目标，交替更新分类器 θ 与 GAN (G, D) 以最小化 (c)+(d) 并最大化 (e)，如论文的 Algorithm 1。
• 允许在接近同分布边界处抽取的 OOD 样本上对 KL 项进行优化，以最大化探测器的分离度。
• 证明该方法可以在常见的 CNN 主干网络（例如 AlexNet、VGGNet）上，在标准视觉数据集（CIFAR、SVHN、ImageNet、LSUN）上进行训练。
• 指出该方法与贝叶斯集成是正交的，可以与之结合以实现潜在的更好结果。

实验结果

研究问题

• RQ1 一个置信度校准的训练目标是否能提升同分布与异分布输出在阈值检测之外的分离度？
• RQ2 将分类器与边界聚焦的对抗生成器进行联合训练，是否能在不损害同分布准确性的前提下获得更好的 OOD 检测？
• RQ3 现实的（近边界）异分布样本是否比距离边界较远或合成的样本在校准方面更有效？
• RQ4 所提出的方法是否能在多种数据集和网络架构（如 VGGNet、AlexNet）上显著提升 OOD 检测性能？

主要发现

• 置信度损失在若干同分布/异分布对上提升了 OOD 检测指标（例如以 SVHN 为同分布时，在使用置信度损失训练后取得显著增益）。
• 将置信度损失与所提出的 GAN 结合使用的检测效果优于仅使用显式的 OOD 数据，特别是 CIFAR-10 作为同分布时。
• 对于 SVHN 为同分布的情况，该方法在不影响分类准确性的前提下显著提升检测指标（如 TNR、AUROC、AUPR 和检测准确率的性能提升）。
• 边界聚焦的 GAN 生成位于同分布边界附近的 OOD 样本，提升了探测器性能，超越使用标准的（随机或高斯）ODD 数据。
• 可视化（引导梯度图）表明在应用置信度损失后，学习到的模型在 OOD 检测中关注于更相关的图像区域。