[论文解读] OLED: One-Class Learned Encoder-Decoder Network with Adversarial Context Masking for Novelty Detection

John Jewell, Vahid Reza Khazaie+1 more|arXiv (Cornell University)|Mar 27, 2021

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出OLED，一种基于对抗性训练掩码模块的一类新颖性检测框架，通过学习最优的语义感知图像掩码，提升自编码器基异常检测中的重建性能。通过联合训练重建器以最小化重建误差，同时训练掩码模块以最大化该误差，OLED学习到更丰富的表征，在UCSD视频数据集上达到99.02% AUC，在MNIST数据集上达到98.45% AUC，性能达到当前最先进水平。

ABSTRACT

Novelty detection is the task of recognizing samples that do not belong to the distribution of the target class. During training, the novelty class is absent, preventing the use of traditional classification approaches. Deep autoencoders have been widely used as a base of many unsupervised novelty detection methods. In particular, context autoencoders have been successful in the novelty detection task because of the more effective representations they learn by reconstructing original images from randomly masked images. However, a significant drawback of context autoencoders is that random masking fails to consistently cover important structures of the input image, leading to suboptimal representations - especially for the novelty detection task. In this paper, to optimize input masking, we have designed a framework consisting of two competing networks, a Mask Module and a Reconstructor. The Mask Module is a convolutional autoencoder that learns to generate optimal masks that cover the most important parts of images. Alternatively, the Reconstructor is a convolutional encoder-decoder that aims to reconstruct unperturbed images from masked images. The networks are trained in an adversarial manner in which the Mask Module generates masks that are applied to images given to the Reconstructor. In this way, the Mask Module seeks to maximize the reconstruction error that the Reconstructor is minimizing. When applied to novelty detection, the proposed approach learns semantically richer representations compared to context autoencoders and enhances novelty detection at test time through more optimal masking. Novelty detection experiments on the MNIST and CIFAR-10 image datasets demonstrate the proposed approach's superiority over cutting-edge methods. In a further experiment on the UCSD video dataset for novelty detection, the proposed approach achieves state-of-the-art results.

研究动机与目标

• 解决上下文自编码器中随机掩码的局限性，后者无法一致地覆盖语义上重要的图像结构。
• 通过在训练过程中优化掩码策略，提升一类新颖性检测的表征学习能力。
• 开发一个端到端可训练的框架，在提升内点重建保真度的同时降低外点的重建质量。
• 在图像和视频异常检测基准上，性能优于当前最先进方法。

提出的方法

• 引入掩码模块（MM）作为卷积自编码器，生成激活图并经阈值处理生成二值掩码。
• 以对抗方式联合训练重建器（R）和掩码模块（MM）：R最小化重建误差，MM最大化该误差。
• 使用掩码输入的重建误差作为异常分数，最优掩码可提升表征质量。
• 在测试阶段应用掩码，通过聚焦关键图像结构进一步提升检测性能。
• 使用标准反向传播端到端训练整个系统，实现与现有自编码器流水线的无缝集成。
• 利用对抗性动态促使MM识别并掩码语义显著区域，从而生成更鲁棒的表征。

实验结果

研究问题

• RQ1 掩码生成器与重建器之间的对抗性训练是否能提升一类新颖性检测的表征质量？
• RQ2 在上下文自编码器中，学习到的、上下文感知的掩码是否优于随机掩码进行异常检测？
• RQ3 在一类设定下，测试时掩码在多大程度上提升检测性能？
• RQ4 所提出的框架能否在包括图像和视频在内的多样化数据模态上实现良好泛化？
• RQ5 在标准基准数据集上，所提出方法与当前最先进方法相比表现如何？

主要发现

• OLED在UCSD视频异常检测基准上达到99.02%的曲线下面积（AUC），显著优于近期SOTA模型。
• 在MNIST数据集上，OLED使用平均异常分数达到98.45% AUC，较基线上下文自编码器（CAE）提升5.7个百分点。
• 消融研究证实，学习到的掩码优于随机掩码，OLED在MNIST上的AUC为98.45%，而CAE为87.68%。
• 掩码模块展现出强大的语义分割能力，能有效识别内点和外点样本中的关键图像结构。
• 测试时掩码进一步提升了OLED的性能，而其降低了CAE的性能，证实次优的随机掩码会在重建分数中引入噪声。
• 该方法泛化能力良好，在内点上实现高重建保真度，外点上则重建效果差，验证了其核心设计原则。