[论文解读] Rethinking Assumptions in Deep Anomaly Detection

Lukas Ruff, Robert A. Vandermeulen+3 more|arXiv (Cornell University)|May 30, 2020

Anomaly Detection Techniques and Applications参考文献 77被引用 14

一句话总结

这篇论文挑战了图像中深度异常检测（AD）必须无监督的既定假设。它表明，仅使用正常数据和64张随机自然图像作为异常样本（异常暴露，OE）进行训练的简单有监督分类器，在ImageNet和CIFAR-10基准上，性能优于当前最先进的无监督方法，其优势源于图像中多尺度结构信息的利用，使少量OE样本对异常检测具有高度信息量。

ABSTRACT

Though anomaly detection (AD) can be viewed as a classification problem (nominal vs. anomalous) it is usually treated in an unsupervised manner since one typically does not have access to, or it is infeasible to utilize, a dataset that sufficiently characterizes what it means to be "anomalous." In this paper we present results demonstrating that this intuition surprisingly seems not to extend to deep AD on images. For a recent AD benchmark on ImageNet, classifiers trained to discern between normal samples and just a few (64) random natural images are able to outperform the current state of the art in deep AD. Experimentally we discover that the multiscale structure of image data makes example anomalies exceptionally informative.

研究动机与目标

• 挑战长期以来认为由于难以表征异常数据，图像深度异常检测必须采用无监督方法的假设。
• 探究少量随机自然图像——通常被视为非正常样本——是否可作为训练深度异常检测器的有效异常样本。
• 评估使用极少且非定制化异常数据的有监督异常暴露（OE）方法，是否能超越当前最先进的无监督及半监督AD方法。
• 考察图像中多尺度结构在使随机图像对异常检测具有高度信息量方面所起的作用。

提出的方法

• 使用二元交叉熵损失训练标准深度神经网络，将正常图像与一小撮随机自然图像作为异常样本进行分类。
• 采用Hendrycks等人（2019b）的异常暴露（OE）设置，其中OE数据由训练过程中未见过的ImageNet或ImageNet-22K中的随机图像组成。
• 在标准的一对多异常检测基准上评估性能，以AUC为主要指标，在多个数据集（MNIST、CIFAR-10、ImageNet-1K）上进行测试。
• 将OE样本数量从最少64张到128张不等，评估其对检测性能的影响。
• 在不同OE数据源（包括EMNIST-Letters和CIFAR-100）上测试泛化能力，以评估方法的鲁棒性与可迁移性。
• 通过观察每张随机OE图像如何为训练信号贡献多样化的空间尺度异常，分析图像中多尺度特征的影响。

实验结果

研究问题

• RQ1 仅使用极少异常暴露的有监督分类方法，是否能在图像基准上超越当前最先进的无监督深度异常检测方法？
• RQ2 需要多少异常样本才能实现与无监督方法相当或更优的性能？
• RQ3 为何缺乏与真实异常样本语义相似性的随机自然图像，仍能作为深度图像AD中的高度有效异常样本？
• RQ4 图像的多尺度结构在多大程度上使随机图像能够传递关于异常性的信息性表征？

主要发现

• 仅使用64张随机自然图像作为异常样本的有监督分类器，在ImageNet的一对多异常检测基准上，性能超越所有无监督及半监督最先进方法，平均AUC达到97.7%。
• 当使用128张OE样本时，该有监督方法在CIFAR-10基准上达到具有竞争力的性能（平均AUC为97.5%），与或超过以往无监督方法的性能。
• 该方法在不同OE数据源上均表现出良好泛化能力：使用EMNIST-Letters的10个类别或CIFAR-100的100个类别作为OE数据，仍能实现优异的检测性能，表明对OE数据构成具有鲁棒性。
• 性能提升归因于图像的多尺度结构特性，其中每张随机图像均包含不同空间尺度的特征，这些特征共同代表了多样化的异常形式。
• 研究结果反驳了“深度模型需要成千上万张样本才能学习类别”以及“异常本质上难以集中表征”的普遍认知。
• 即使训练数据中未包含任何真实异常样本的标注，模型仍能有效检测异常，表明随机图像并非仅仅是噪声，而是蕴含丰富且具有区分性的异常检测信息。