[论文解读] Novelty Detection via Non-Adversarial Generative Network

Cheng‐Wei Chen, Yuan Wang+5 more|arXiv (Cornell University)|Feb 3, 2020

Anomaly Detection Techniques and Applications参考文献 20被引用 7

一句话总结

本文提出了一种非对抗性的、编码器-解码器生成框架，用于单类新奇检测，通过判别性损失联合优化潜在空间与图像重建，实现稳定、快速的训练和更优的重建质量。该方法在基准数据集上实现了平均AUC 0.7501的最先进性能，优于基于GAN的方法及其他最先进方法。

ABSTRACT

One-class novelty detection is the process of determining if a query example differs from the training examples (the target class). Most of previous strategies attempt to learn the real characteristics of target sample by using generative adversarial networks (GANs) methods. However, the training process of GANs remains challenging, suffering from instability issues such as mode collapse and vanishing gradients. In this paper, by adopting non-adversarial generative networks, a novel decoder-encoder framework is proposed for novelty detection task, insteading of classical encoder-decoder style. Under the non-adversarial framework, both latent space and image reconstruction space are jointly optimized, leading to a more stable training process with super fast convergence and lower training losses. During inference, inspired by cycleGAN, we design a new testing scheme to conduct image reconstruction, which is the reverse way of training sequence. Experiments show that our model has the clear superiority over cutting-edge novelty detectors and achieves the state-of-the-art results on the datasets.

研究动机与目标

• 为解决基于GAN的新奇检测方法固有的不稳定性与训练困难，特别是模式崩溃和梯度消失问题。
• 通过用非对抗性优化替代对抗性训练，开发一种更稳定、高效的训练框架。
• 提升潜在表示的重建质量与判别能力，以更好分离分布内与分布外样本。
• 设计一种新颖的推理策略，反转训练过程以在测试阶段提升重建保真度。
• 在图像与音频新奇检测任务的多个基准数据集上实现最先进性能。

提出的方法

• 提出一种新颖的编码器-解码器框架，反转标准的编码器-解码器流程，利用解码器从学习到的噪声向量生成图像，同时使用编码器将测试图像映射回潜在空间。
• 引入一种联合优化方案，使用两种损失函数：潜在表示损失以确保潜在码具有判别性，图像重建损失以提升视觉保真度。
• 端到端联合训练模型，结合两种损失，相比基于GAN的方法具有更快的收敛速度和更低的训练损失。
• 设计一种反向推理策略，即测试样本先通过编码器，再从潜在码解码——与训练顺序相反。
• 基于生成潜在优化（GLO）理论，建立有意义的噪声到图像映射，无需对抗性训练。
• 采用非对抗性、基于重建的训练目标，避免判别器与生成器之间的竞争带来的不稳定性。

实验结果

研究问题

• RQ1 非对抗性生成框架是否能在单类新奇检测中实现比基于GAN的方法更优的稳定性与更快的收敛速度？
• RQ2 潜在空间与图像重建空间的联合优化是否能带来更具判别性的表示与更高质量的重建？
• RQ3 反向推理策略（先编码器后解码器）是否能提升分布外样本的重建准确性？
• RQ4 所提方法是否在标准图像与音频新奇检测基准上实现最先进性能？
• RQ5 所学习的潜在流形在正常与异常样本之间的紧凑性与可分性方面表现如何？

主要发现

• 在CIFAR-10数据集上，所提方法实现了0.7501的最先进平均AUC，显著优于OCGAN（0.6566）及其他SOTA方法。
• 在DCASE声学异常检测数据集上，方法在图书馆、汽车和电车场景中分别取得0.97、0.99和0.97的AUC，优于WaveNet与CAE在全部15种环境设置下的表现。
• 模型收敛速度更快，训练损失更低，相比基于GAN的方法，后者需精细调参与多次初始化。
• 所学潜在流形更具紧凑性，且能更好分离正常与异常样本；与OCGAN的定性对比显示，所提方法将分布外数字重建为目标类别（如数字8），而非保留异常特征。
• 反向推理策略（先编码器）能更准确重建分布内样本，并对异常样本产生更高重建误差，从而提升检测性能。
• 与基于GAN的方法相比，该方法生成的重建图像更清晰锐利，避免了模糊现象，从而防止重建误差被扭曲并提升新奇检测性能。