[论文解读] UQGAN: A Unified Model for Uncertainty Quantification of Deep Classifiers trained via Conditional GANs

Philipp Oberdiek, Gernot A. Fink+1 more|arXiv (Cornell University)|Jan 31, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

UQGAN 提出了一种基于生成对抗网络（GAN）的统一框架，用于深度图像分类器中的联合不确定性量化，通过训练类别条件 GAN 来生成分布外样本，从而区分偶然性不确定性与认知性不确定性。该方法在 CIFAR10、CIFAR100 和 Tiny ImageNet 上均提升了分布外（OoD）检测与误报（FP）检测性能，同时提高了模型准确率并保持了较低的校准误差。

ABSTRACT

We present an approach to quantifying both aleatoric and epistemic uncertainty for deep neural networks in image classification, based on generative adversarial networks (GANs). While most works in the literature that use GANs to generate out-of-distribution (OoD) examples only focus on the evaluation of OoD detection, we present a GAN based approach to learn a classifier that produces proper uncertainties for OoD examples as well as for false positives (FPs). Instead of shielding the entire in-distribution data with GAN generated OoD examples which is state-of-the-art, we shield each class separately with out-of-class examples generated by a conditional GAN and complement this with a one-vs-all image classifier. In our experiments, in particular on CIFAR10, CIFAR100 and Tiny ImageNet, we improve over the OoD detection and FP detection performance of state-of-the-art GAN-training based classifiers. Furthermore, we also find that the generated GAN examples do not significantly affect the calibration error of our classifier and result in a significant gain in model accuracy.

研究动机与目标

• 为解决深度神经网络中缺乏系统性不确定性量化的问题，特别是区分偶然性不确定性与认知性不确定性。
• 在现有基于 GAN 的方法之上，进一步提升分布外（OoD）和误报（FP）检测性能。
• 开发一种统一框架，将不确定性量化与分类器训练相结合，而无需预先训练生成器。
• 通过基于 GAN 的数据增强，在保持模型准确率提升的同时，维持较低的校准误差。

提出的方法

• 该方法使用带有 Wassertein 损失的条件 GAN，为每个类别单独生成分布外样本，从而实现类别特定的屏蔽。
• 在深度神经网络的最终层训练一个一对多多分类器，与条件 GAN 联合训练，以建模类别条件似然。
• 应用贝叶斯定理计算后验类别概率，从而实现系统性不确定性估计。
• 对于高维数据，通过在类别条件变分自编码器的潜在空间上训练 GAN，以降低复杂度并减少对抗干扰。
• 通过利用条件 GAN 在低维空间中直接生成 OoC 样本的能力，避免了生成器的预训练。
• 通过对抗训练联合优化分类器与生成器，确保不确定性估计既校准良好又具有信息量。

实验结果

研究问题

• RQ1 基于 GAN 的框架能否在深度图像分类器中有效区分偶然性不确定性与认知性不确定性？
• RQ2 通过条件 GAN 实现的类别特定屏蔽，与全局屏蔽在 OoD 和 FP 检测中的表现相比如何？
• RQ3 使用 GAN 生成的分布外样本能否在不降低校准性的情况下提升模型准确率？
• RQ4 在变分自编码器的潜在空间上训练 GAN 是否能提升在高维数据集（如 CIFAR100 和 Tiny ImageNet）上的性能？
• RQ5 所提出方法在多大程度上优于当前最先进的基于 GAN 和非 GAN 的不确定性量化方法？

主要发现

• 在 CIFAR10 上，当与 Dropout 结合使用时，UQGAN 在 OoD 检测中达到 95.06% 的 AUC（而理想情况为 99.89%），显著优于其他基于 GAN 的方法。
• 在 Tiny ImageNet 上，当使用 Dropout 时，UQGAN 在与 FMNIST 的 OoD 检测中达到 99.90% 的 AUC，超越所有基线方法。
• 与使用相同架构的其他基于 GAN 的方法相比，该方法在 CIFAR100 和 Tiny ImageNet 等更具挑战性的数据集上显著提升了模型准确率。
• UQGAN 保持了较低的校准误差，在最具挑战性的 OoD 场景（Tiny ImageNet 对比 FMNIST）下，测试误差仅为 1.04%，表明其不确定性估计具有鲁棒性。
• 该方法在所有 OoD 检测基准上持续优于当前最先进的方法，尤其在类似但分布外的数据集（如 CIFAR10 5-9 和 LSUN）上表现更优。
• 在潜在空间中训练 GAN 可减少对抗干扰，并使高维图像数据的训练更加稳定。