[论文解读] Self-Supervised Out-of-Distribution Detection and Localization with Natural Synthetic Anomalies (NSA).

Hannah M. Schlüter, Jeremy Tan+2 more|arXiv (Cornell University)|Sep 30, 2021

Anomaly Detection Techniques and Applications参考文献 25被引用 14

一句话总结

本文提出自然合成异常（NSA），一种自监督方法，通过泊松编辑混合缩放图像块，生成逼真且无缝的合成异常。仅在正常数据上进行训练，该模型在MVTec AD数据集上达到97.2%的AUROC，优于所有无需预训练的先前自监督方法，并在未见的制造缺陷上表现出良好的泛化能力。

ABSTRACT

We introduce a new self-supervised task, NSA, for training an end-to-end model for anomaly detection and localization using only normal data. NSA uses Poisson image editing to seamlessly blend scaled patches of various sizes from separate images. This creates a wide range of synthetic anomalies which are more similar to natural sub-image irregularities than previous data-augmentation strategies for self-supervised anomaly detection. We evaluate the proposed method using natural and medical images. Our experiments with the MVTec AD dataset show that a model trained to localize NSA anomalies generalizes well to detecting real-world a priori unknown types of manufacturing defects. Our method achieves an overall detection AUROC of 97.2 outperforming all previous methods that learn from scratch without pre-training datasets.

研究动机与目标

• 为解决在缺乏多样化异常数据的情况下训练异常检测模型的挑战，提出一种基于合成异常的自监督任务。
• 与传统数据增强技术相比，提升合成异常的真实感与泛化能力。
• 仅使用正常图像实现异常检测与定位的端到端训练。
• 在自然图像与医学图像上评估该方法，证明其在不同领域的鲁棒性。
• 在MVTec AD基准上实现SOTA性能，且无需在外部数据集上进行预训练。

提出的方法

• 通过泊松图像编辑技术，将来自不同图像的随机图像块混合到目标图像中，实现无缝融合，生成合成异常。
• 采用不同尺寸的图像块，生成类似自然子图像异常的多样化异常模式。
• 端到端训练深度学习模型，在自监督预训练过程中检测并定位这些合成异常。
• 利用模型从混合任务中学习正常图像结构的能力，使其在推理时能够识别异常偏差。
• 采用对比学习目标，促使模型区分正常区域与合成异常区域。
• 在无需微调的情况下，将训练好的模型应用于真实世界的分布外数据，依赖于所学正常模式的泛化能力。

实验结果

研究问题

• RQ1 通过泊松混合生成的合成异常是否在自监督异常检测中比标准数据增强更真实地模拟现实异常？
• RQ2 在自然合成异常上进行训练是否能提升对制造缺陷中未见缺陷类型的零样本泛化能力？
• RQ3 仅在正常数据上端到端训练的模型是否能在无需预训练的情况下实现异常检测基准上的SOTA性能？
• RQ4 NSA方法在标准基准上与现有自监督及弱监督方法相比表现如何？
• RQ5 NSA生成的合成异常在多大程度上反映了自然图像与医学图像中真实异常的特征？

主要发现

• NSA方法在MVTec AD数据集上实现了97.2%的整体检测AUROC，超越了所有无需预训练从头训练的先前自监督方法。
• 在NSA异常上训练的模型能有效泛化，检测出训练期间未见过的真实、事先未知的制造缺陷类型。
• 通过泊松混合生成的合成异常比标准数据增强生成的异常更具真实感与语义一致性，从而提升模型泛化能力。
• 该方法在多个异常检测基准上表现优异，证明其在自然图像与医学影像领域均具有鲁棒性。
• 通过NSA进行自监督训练使模型能够学习到丰富的正常图像结构表征，从而提升检测与定位的准确性。
• 即使在使用预训练的现有自监督方法中，该方法仍表现更优，凸显了NSA训练目标的有效性。