[论文解读] Self-Supervised Representation Learning for Visual Anomaly Detection

Rabia Ali, Muhammad Umar Karim Khan+1 more|arXiv (Cornell University)|Jun 17, 2020

Anomaly Detection Techniques and Applications参考文献 63被引用 4

一句话总结

该论文提出了一种用于视频视觉异常检测的自监督帧顺序预测任务，无需光流即可学习时空特征。通过训练模型预测随机打乱的视频帧原始顺序，该方法捕捉了正常视频内容的丰富语义与结构表征，在UCF101和ILSVRC2015数据集上实现了最先进（SOTA）的AUROC性能，其中M=5帧且跳过2帧时结果最优。

ABSTRACT

Self-supervised learning allows for better utilization of unlabelled data. The feature representation obtained by self-supervision can be used in downstream tasks such as classification, object detection, segmentation, and anomaly detection. While classification, object detection, and segmentation have been investigated with self-supervised learning, anomaly detection needs more attention. We consider the problem of anomaly detection in images and videos, and present a new visual anomaly detection technique for videos. Numerous seminal and state-of-the-art self-supervised methods are evaluated for anomaly detection on a variety of image datasets. The best performing image-based self-supervised representation learning method is then used for video anomaly detection to see the importance of spatial features in visual anomaly detection in videos. We also propose a simple self-supervision approach for learning temporal coherence across video frames without the use of any optical flow information. At its core, our method identifies the frame indices of a jumbled video sequence allowing it to learn the spatiotemporal features of the video. This intuitive approach shows superior performance of visual anomaly detection compared to numerous methods for images and videos on UCF101 and ILSVRC2015 video datasets.

研究动机与目标

• 评估自监督表示学习方法在图像与视频视觉异常检测任务中的表现，该任务在以往研究中尚未得到充分探索。
• 探究在自监督学习下，空间特征与时间特征在视频异常检测中的相对重要性。
• 开发一种简单而有效的自监督方法，无需依赖光流或外部监督，即可学习视频中的时空一致性。
• 证明通过帧顺序预测学习能够有效提升对分布外（异常）视频实例的检测能力。

提出的方法

• 该方法引入帧顺序预测任务：给定一组随机打乱的M帧视频序列，模型预测原始帧的顺序。
• 模型仅使用正常视频片段进行训练，采用标准分类头预测排列索引。
• 空间特征通过卷积神经网络（如ResNet）独立应用于每帧进行提取。
• 时间推理通过模型学习重建正确序列而隐式产生，从而捕捉物体位置、形状与运动动态。
• 该方法仅使用RGB帧，无需光流、边界框或人工标注的时间信号。
• 通过经验调优超参数（如帧数M和帧跳过数），以最大化AUROC。

实验结果

研究问题

• RQ1 当微调用于基于图像的视觉异常检测时，现有自监督视觉表示学习方法的表现如何？
• RQ2 在自监督学习下，空间特征与时间特征在视频异常检测中的相对贡献是什么？
• RQ3 能否通过一个简单的帧顺序预测任务有效学习时空表征，而无需光流或额外监督？
• RQ4 帧数M和帧跳过数等超参数如何影响所提方法的性能？

主要发现

• 帧顺序预测任务在UCF101数据集上实现了76.4%的最先进AUROC，在ILSVRC2015数据集上达到75.5%，优于以往的自监督方法与最先进方法。
• 当使用M=5帧且在选定帧之间跳过2帧（即{f1, f4, f7, f10, f13}）时性能最优，表明非连续帧可提升特征多样性。
• 该方法显著优于仅依赖时间特征的模型（如AOT），表明空间结构在异常检测中比运动更为关键。
• 基于图像的自监督方法（如RotNet）在图像任务中表现具有竞争力，但所提出的视频专用方法在视频异常检测中表现更优。
• 模型学习到了对分布内（正常）视频内容的鲁棒表征，从而能够准确检测分布外（异常）实例。
• 当M>5后性能趋于平缓，表明更长序列的收益递减；连续帧提供的变化不足，难以实现有效学习。