[论文解读] OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations

Pramuditha Perera, Ramesh Nallapati+1 more|arXiv (Cornell University)|Mar 20, 2019

Anomaly Detection Techniques and Applications参考文献 14被引用 56

一句话总结

OCGAN 学习一个带约束潜在空间和双判别器的去噪自编码器，以强制每个潜在样本解码为已知类别，从而在对抗性训练和信息负样本挖掘的辅助下实现有效的单类新颖性检测。

ABSTRACT

We present a novel model called OCGAN for the classical problem of one-class novelty detection, where, given a set of examples from a particular class, the goal is to determine if a query example is from the same class. Our solution is based on learning latent representations of in-class examples using a denoising auto-encoder network. The key contribution of our work is our proposal to explicitly constrain the latent space to exclusively represent the given class. In order to accomplish this goal, firstly, we force the latent space to have bounded support by introducing a tanh activation in the encoder's output layer. Secondly, using a discriminator in the latent space that is trained adversarially, we ensure that encoded representations of in-class examples resemble uniform random samples drawn from the same bounded space. Thirdly, using a second adversarial discriminator in the input space, we ensure all randomly drawn latent samples generate examples that look real. Finally, we introduce a gradient-descent based sampling technique that explores points in the latent space that generate potential out-of-class examples, which are fed back to the network to further train it to generate in-class examples from those points. The effectiveness of the proposed method is measured across four publicly available datasets using two one-class novelty detection protocols where we achieve state-of-the-art results.

研究动机与目标

• 动机并解决潜在空间表示的局限性——在这种表示下，训练于单一类别的模型有时会较好地重建出该类别之外的对象。
• 提出潜在空间约束和对抗性训练，以确保所有潜在样本仅能重现在已知类别。
• 开发一个端到端训练框架，结合去噪自编码器、两个判别器（潜在与视觉）以及一个分类器。
• 引入信息性负样本挖掘，以提升对潜在空间中产生出类样本输出区域的鲁棒性。

提出的方法

• 使用带有 tanh 激活的编码器输出来将潜在空间界定在 (-1,1)^d 的范围内的去噪自编码器（En, De）。
• 训练一个潜在空间判别器 Dl，使同类数据的潜在表示遵循 Uniform(-1,1)^d 分布。
• 引入一个视觉判别器 Dv，确保从随机潜在样本生成的图像与同类数据分布相似。
• 添加一个在重建结果上进行正样本训练、在随机潜在样本生成的图像上进行负样本训练的分类器，以识别信息性负样本。
• 实现一个信息性负样本挖掘过程，利用分类器损失梯度将潜在空间朝向更有可能产生出类图像的区域移动。
• 以两步迭代训练：(i) 在固定自编码器和判别器的条件下训练分类器；(ii) 在信息性负样本挖掘下训练自编码器和判别器。
• 利用复合损失：对判别器使用 l_latent + l_visual，生成器使用 l_mse + l_visual + l_latent，并含有强重建项。

实验结果

研究问题

• RQ1 将潜在空间约束为均匀覆盖有界区域，是否会迫使模型仅表示给定类别？
• RQ2 使用潜在和视觉判别器进行对抗性训练，是否能防止从随机潜在样本生成出类-相似的图像？
• RQ3 信息性负样本挖掘是否通过让模型暴露于产生较差的同类表示的潜在区域来提升检测效果？

主要发现

• OCGAN 在四个公开数据集上取得了高AUC性能，其中在 Protocol 1 下的 CO IL100 达到 0.995 的 AUC。
• 在类似 MNIST 的数据上，该方法超过了若干基线，在 Protocol 1 下对 MNIST 和 fMNIST 的前期工作获得了显著提升。
• 在 Protocol 2 下的 CIFAR-10，OCGAN 的平均 AUC 为 0.9750，与若干基线相比具有竞争力甚至优越。
• 在 MNIST 的消融研究显示，从加入潜在和视觉判别器以及信息性负样本挖掘开始逐步改进，最终达到完整模型。
• 定性分析显示，信息性负样本挖掘减少了出类样本的生成，并在整个潜在空间内产生更一致的同类输出。