[论文解读] OMASGAN: Out-of-Distribution Minimum Anomaly Score GAN for Sample Generation on the Boundary

Nikolaos Dionelis, Mehrdad Yaghoobi+1 more|arXiv (Cornell University)|Oct 28, 2021

Anomaly Detection Techniques and Applications被引用 4

一句话总结

OMASGAN 是一种新颖的基于 GAN 的异常检测框架，仅使用正常类数据即可在数据分布边界上生成异常分数最低的分布外（OoD）样本。通过使用这些对抗性 OoD 样本以及在真实数据和生成数据上训练的判别器，对模型进行自监督微调，OMASGAN 在无需可逆性、似然估计或特征工程的情况下，显著提升了异常检测性能，在留一法评估下，MNIST 上 AUROC 提升 0.24，CIFAR-10 上提升 0.07，达到当前最优水平。

ABSTRACT

Generative models trained in an unsupervised manner may set high likelihood and low reconstruction loss to Out-of-Distribution (OoD) samples. This increases Type II errors and leads to missed anomalies, overall decreasing Anomaly Detection (AD) performance. In addition, AD models underperform due to the rarity of anomalies. To address these limitations, we propose the OoD Minimum Anomaly Score GAN (OMASGAN). OMASGAN generates, in a negative data augmentation manner, anomalous samples on the estimated distribution boundary. These samples are then used to refine an AD model, leading to more accurate estimation of the underlying data distribution including multimodal supports with disconnected modes. OMASGAN performs retraining by including the abnormal minimum-anomaly-score OoD samples generated on the distribution boundary in a self-supervised learning manner. For inference, for AD, we devise a discriminator which is trained with negative and positive samples either generated (negative or positive) or real (only positive). OMASGAN addresses the rarity of anomalies by generating strong and adversarial OoD samples on the distribution boundary using only normal class data, effectively addressing mode collapse. A key characteristic of our model is that it uses any f-divergence distribution metric in its variational representation, not requiring invertibility. OMASGAN does not use feature engineering and makes no assumptions about the data distribution. The evaluation of OMASGAN on image data using the leave-one-out methodology shows that it achieves an improvement of at least 0.24 and 0.07 points in AUROC on average on the MNIST and CIFAR-10 datasets, respectively, over other benchmark and state-of-the-art models for AD.

研究动机与目标

• 为解决无监督异常检测中生成模型对 OoD 样本分配高似然值的问题，该问题导致 II 型错误和漏检异常。
• 通过仅使用正常类数据，在估计的数据分布边界上生成强对抗性 OoD 样本，以克服训练中异常样本稀少的问题。
• 通过使用生成的边界样本进行微调，改进具有不连通支撑的多模态数据分布的学习，避免模式崩溃。
• 开发一种自监督、数据与架构无关的方法，无需特征工程、似然估计或可逆性。
• 通过在真实正样本和生成负样本上训练的判别器，实现异常检测的最先进性能，支持鲁棒推理。

提出的方法

• OMASGAN 训练一种基于 f-散度的 GAN 来建模正常数据分布，其变分表示中可使用任意 f-散度，且无需可逆性。
• 引入一个边界生成器 $B(\mathbf{z})$，利用生成器与边界分布之间的统计散度，在估计的数据分布边界上生成异常分数最低的 OoD 样本。
• 通过将这些异常分数最低的 OoD 样本引入训练过程，执行负样本再训练，以优化生成器 $G'(\mathbf{z})$，使其更好地表示真实数据支撑。
• 使用真实正样本和生成负样本（来自 $B(\mathbf{z})$）训练判别器 $J(\mathbf{x})$，在推理阶段区分分布内与 OoD 数据。
• 通过计算学习到的生成器与 $\mathbf{x}^*$ 处的狄拉克函数之间的 f-散度，计算测试样本 $\mathbf{x}^*$ 的异常分数，实现鲁棒检测。
• 该框架采用自监督学习，同时提升分布学习与异常检测性能，且对数据分布无假设，无需人工特征工程。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否仅使用正常类数据，在数据分布边界上生成有意义的对抗性 OoD 样本，以提升异常检测性能？
• RQ2 在微调过程中引入异常分数最低的 OoD 样本，对异常检测模型的泛化能力与鲁棒性有何影响？
• RQ3 在真实数据与生成负样本上训练的判别器，是否能实现优于标准 GAN 与自编码器（AE）基线模型的性能？
• RQ4 在留一法评估下，OMASGAN 在 MNIST 与 CIFAR-10 等基准数据集上的 AUROC 提升程度如何？该评估更贴近真实世界异常检测场景。
• RQ5 OMASGAN 在不同随机种子及具有不连通或多重支持的数据分布下，是否保持性能稳定性？

主要发现

• 在留一法评估下，OMASGAN 相较于基线与最先进模型，在 MNIST 数据集上实现了至少 0.24 的 AUROC 提升。
• 在 CIFAR-10 上，OMASGAN 在相同评估协议下，AUROC 提升至少 0.07，表明在复杂数据上具有持续的性能增益。
• 在单类分类（OCC）评估下，OMASGAN 在 CIFAR-10 上实现了平均 AUROC 0.85，优于 GAN 基线模型（AnoGAN、MinLGAN）、AE 基线模型（VAE、DeepSVDD）以及基于 DROCC 判别器的模型。
• OMASGANaug（通过几何变换进行数据增强）略微提升了性能，并在不同随机种子下表现出鲁棒性，各类与种子间的平均标准差为 0.06。
• 消融研究证实，使用判别器 $J(\mathbf{x})$ 进行推理显著优于基线模型，性能从任务 1 到 OMASGAN 逐步提升。
• OMASGAN 对初始化不敏感，各种子间的平均标准差为 0.06，低于先前工作中报告的 0.1，表明训练过程具有强稳定性。