[论文解读] Unsupervised Learning of Anomaly Detection from Contaminated Image Data using Simultaneous Encoder Training

Amanda Berg, Jörgen Ahlberg+1 more|arXiv (Cornell University)|May 27, 2019

Anomaly Detection Techniques and Applications参考文献 34被引用 31

一句话总结

本文提出了一种新颖的无监督异常检测方法，用于图像数据，在训练数据中存在异常污染的情况下仍保持鲁棒性。通过联合训练生成器和图像到潜在空间的编码器，并使用图像空间距离损失，该方法使潜在空间分层，使得异常样本的潜在向量范数显著短于正常样本，即使在训练数据被污染的情况下，也在CIFAR-10和大规模细胞图像数据集上实现了最先进（SOTA）的AUC性能。

ABSTRACT

Unsupervised learning of anomaly detection in high-dimensional data, such as images, is a challenging problem recently subject to intense research. Through careful modelling of the data distribution of normal samples, it is possible to detect deviant samples, so called anomalies. Generative Adversarial Networks (GANs) can model the highly complex, high-dimensional data distribution of normal image samples, and have shown to be a suitable approach to the problem. Previously published GAN-based anomaly detection methods often assume that anomaly-free data is available for training. However, this assumption is not valid in most real-life scenarios, a.k.a. in the wild. In this work, we evaluate the effects of anomaly contaminations in the training data on state-of-the-art GAN-based anomaly detection methods. As expected, detection performance deteriorates. To address this performance drop, we propose to add an additional encoder network already at training time and show that joint generator-encoder training stratifies the latent space, mitigating the problem with contaminated data. We show experimentally that the norm of a query image in this stratified latent space becomes a highly significant cue to discriminate anomalies from normal data. The proposed method achieves state-of-the-art performance on CIFAR-10 as well as on a large, previously untested dataset with cell images.

研究动机与目标

• 研究异常污染对最先进基于GAN的异常检测方法的影响。
• 解决现有无监督基于GAN的方法在训练数据被污染时检测性能下降的问题。
• 开发一种真正无监督的异常检测方法，即使在训练数据中包含异常时仍保持有效性。
• 证明使用图像空间距离损失联合训练生成器和编码器可改善潜在空间分层结构并提升异常检测的鲁棒性。
• 在现实且被污染的训练条件下，于CIFAR-10和大规模细胞图像数据集上实现最先进性能。

提出的方法

• 该方法引入了一种生成器和图像到潜在空间编码器的联合训练框架，其中编码器通过基于图像空间L2距离的损失进行训练。
• 编码器损失强制使相似图像在潜在空间中被映射为彼此靠近，从而形成分层的潜在空间结构。
• 通过测量查询图像潜在向量的L2范数进行异常检测；较短的范数表示异常。
• 使用归一化残差损失（L_n）和基于范数的损失（L_o）的凸组合作为最终异常得分。
• 通过在CIFAR-10和大规模KTH-Cellvideos数据集上，以不同污染水平的训练数据进行评估，使用AUC作为评价指标。
• 使用t-SNE可视化分析联合训练前后潜在空间中正常样本与异常样本的分布。

实验结果

研究问题

• RQ1 训练数据中存在异常时，对最先进基于GAN的异常检测方法的性能有何影响？
• RQ2 生成器与编码器的联合训练能否提升对训练数据中异常污染的鲁棒性？
• RQ3 使用基于图像空间距离的编码器损失是否能形成更具分层结构的潜在空间，从而增强异常检测能力？
• RQ4 在分层潜在空间中，潜在向量的范数是否是区分异常样本与正常样本的可靠指标？
• RQ5 所提出的方法是否能在标准数据集和真实世界数据集上，在训练数据被污染的条件下均实现最先进性能？

主要发现

• 在KTH-Cellvideos数据集上，该方法在2%异常污染条件下AUC达到0.90，在CIFAR-10上达到0.72，优于f-AnoGAN及其他基线方法。
• 当训练数据中包含2%异常时，f-AnoGAN在KTH-Cellvideos上的AUC降至0.43，在CIFAR-10上降至0.44，显示出显著的性能下降。
• 使用图像空间距离损失进行联合生成器-编码器训练，可形成分层潜在空间，其中异常样本的潜在向量范数显著短于正常样本。
• 所提出的异常得分（结合归一化残差损失与基于范数的损失）在KTH-Cellvideos上达到最高AUC（0.90），在CIFAR-10上达到0.72（污染数据条件下）。
• t-SNE可视化结果证实，与f-AnoGAN相比，该方法在潜在空间中能更清晰地区分正常与异常样本。
• 该方法在训练数据中包含2%异常时仍保持高性能，而f-AnoGAN在相同条件下表现出持续的性能下降。