[论文解读] Self-Supervised Anomaly Detection in Computer Vision and Beyond: A Survey and Outlook

Hadi Hojjati, Thi Kieu Khanh Ho+1 more|arXiv (Cornell University)|May 10, 2022

Anomaly Detection Techniques and Applications参考文献 129被引用 7

一句话总结

本综述全面回顾了计算机视觉及其他领域中的自监督异常检测（AD）方法，分析了对比学习、实例判别及其他基于自监督学习（SSL）的方法，这些方法能够从无标签数据中学习到鲁棒表征。研究表明，这些方法在低数据量和单类场景下显著优于传统无监督和有监督的AD技术，并提出了未来方向，包括少样本学习、多模态融合以及高效训练。

ABSTRACT

Anomaly detection (AD) plays a crucial role in various domains, including cybersecurity, finance, and healthcare, by identifying patterns or events that deviate from normal behaviour. In recent years, significant progress has been made in this field due to the remarkable growth of deep learning models. Notably, the advent of self-supervised learning has sparked the development of novel AD algorithms that outperform the existing state-of-the-art approaches by a considerable margin. This paper aims to provide a comprehensive review of the current methodologies in self-supervised anomaly detection. We present technical details of the standard methods and discuss their strengths and drawbacks. We also compare the performance of these models against each other and other state-of-the-art anomaly detection models. Finally, the paper concludes with a discussion of future directions for self-supervised anomaly detection, including the development of more effective and efficient algorithms and the integration of these techniques with other related fields, such as multi-modal learning.

研究动机与目标

• 提供自监督学习（SSL）在异常检测中应用的全面综述，将其置于更广泛的AD研究背景中。
• 分析当前基于SSL的AD方法的优缺点，特别是对比学习和实例判别方法。
• 在基准数据集上，将基于SSL的模型性能与最先进无监督和有监督AD方法进行比较。
• 识别开放挑战与未来研究方向，包括少样本异常检测、多模态学习以及计算效率。
• 为研究人员和从业者推进自监督异常检测技术的前沿提供基础参考。

提出的方法

• 将自监督异常检测分为三大主要范式：对比学习（如SimCLR）、实例判别和非对比方法（如BYOL、Barlow Twins）。
• 回顾SSL中使用的代理任务，如预测几何变换、图像着色和实例级判别，以学习可泛化的表征。
• 分析SSL模型如何学习表征，使正常样本在紧凑且结构化的空间中分布，而异常样本则被推向中心或边缘。
• 使用AUC和F1-score等指标，在CIFAR-10、MNIST和MVTec AD等标准基准上评估基于SSL的AD模型性能。
• 讨论在自监督框架中引入少量标注异常的方法，如ANEMONE和少样本AD方法，以提升检测准确率。
• 探讨未来方向，如多模态自监督、高效训练，以及迁移学习和联邦学习的应用，以降低计算成本。

实验结果

研究问题

• RQ1 与传统无监督和有监督方法相比，自监督学习方法在异常检测性能上有哪些提升？
• RQ2 对比和非对比SSL方法在单类异常检测中有效的关键架构和训练组件是什么？
• RQ3 在训练过程中引入少量标注异常，能在多大程度上提升自监督异常检测模型的性能？
• RQ4 如何将自监督学习扩展到涉及多种数据源的多模态异常检测场景？
• RQ5 在资源受限的真实环境中，大规模部署和扩展自监督异常检测模型面临的主要挑战是什么？

主要发现

• 自监督异常检测方法，特别是基于对比学习的模型，在MVTec AD和CIFAR-10等基准数据集上达到最先进性能，通常显著优于传统无监督方法。
• 非对比SSL方法如BYOL和Barlow Twins（无需负样本）在单类异常检测中展现出强大潜力，但其在此场景下的性能仍待深入探索。
• 即使在训练中引入极少数标注异常，也能显著提升检测准确率，ANEMONE和少样本AD框架已证明这一点。
• SSL在异常检测中成功的关键在于模型能够学习到紧凑且结构化的表征空间，使异常样本与正常数据易于分离，通常位于中心或边缘区域。
• 尽管性能优异，当前基于SSL的AD模型在计算效率和可扩展性方面仍面临挑战，尤其在实时或边缘部署场景中。
• 未来研究方向，如多模态自监督和高效训练技术，对推动自监督异常检测在医疗保健和网络安全等领域的实际部署至关重要。