[论文解读] Siamese Transition Masked Autoencoders as Uniform Unsupervised Visual Anomaly Detector

Haiming Yao, Xue Wang+1 more|arXiv (Cornell University)|Nov 1, 2022

Anomaly Detection Techniques and Applications被引用 7

一句话总结

本文提出了一种统一的无监督视觉异常检测框架——孪生过渡掩码自编码器（ST-MAE），通过在解耦特征块上利用孪生编码器进行深度特征过渡，学习鲁棒的正常模式。该方法在多个基准测试中实现了最先进性能，具备高效的推理速度和强大的泛化能力，尤其在少样本设置下表现优异。

ABSTRACT

Unsupervised visual anomaly detection conveys practical significance in many scenarios and is a challenging task due to the unbounded definition of anomalies. Moreover, most previous methods are application-specific, and establishing a unified model for anomalies across application scenarios remains unsolved. This paper proposes a novel hybrid framework termed Siamese Transition Masked Autoencoders(ST-MAE) to handle various visual anomaly detection tasks uniformly via deep feature transition. Concretely, the proposed method first extracts hierarchical semantics features from a pre-trained deep convolutional neural network and then develops a feature decoupling strategy to split the deep features into two disjoint feature patch subsets. Leveraging the decoupled features, the ST-MAE is developed with the Siamese encoders that operate on each subset of feature patches and perform the latent representations transition of two subsets, along with a lightweight decoder that reconstructs the original feature from the transitioned latent representation. Finally, the anomalous attributes can be detected using the semantic deep feature residual. Our deep feature transition scheme yields a nontrivial and semantic self-supervisory task to extract prototypical normal patterns, which allows for learning uniform models that generalize well for different visual anomaly detection tasks. The extensive experiments conducted demonstrate that the proposed ST-MAE method can advance state-of-the-art performance on multiple benchmarks across application scenarios with a superior inference efficiency, which exhibits great potential to be the uniform model for unsupervised visual anomaly detection.

研究动机与目标

• 通过单一统一模型应对多样化应用场景下的无监督视觉异常检测（VAD）挑战。
• 克服现有方法局限于特定应用或在异常类型间泛化能力不足的局限性。
• 通过引入基于深度特征过渡的语义自监督任务，提升检测准确率与鲁棒性。
• 通过利用特征解耦与过渡生成的大量隐式预训练任务，实现在低数据场景下的有效性能。
• 通过单一架构实现图像级与像素级异常定位，无需额外模型。

提出的方法

• 使用预训练的深度卷积神经网络（DCNN）从输入图像中提取分层语义特征。
• 应用特征解耦策略，将深度特征图划分为两个互不重叠、互补的块子集。
• 采用孪生编码器独立处理每个子集，从可见块中学习潜在表征。
• 引入深度特征过渡机制，交换两个编码特征子集之间的序列位置，生成自监督信号。
• 通过轻量化解码器对过渡后的潜在表征进行重建，恢复原始特征图。
• 将原始特征与重建特征之间的语义深度特征残差计算为异常得分图。

实验结果

研究问题

• RQ1 统一的深度学习框架能否在无需任务特定微调的情况下，有效处理多样化的视觉异常检测任务（包括检测与定位）？
• RQ2 所提出的深度特征过渡机制相较于标准自编码器，如何提升模型区分正常与异常模式的能力？
• RQ3 ST-MAE 模型在不同异常类型（包括全局语义偏移与局部结构退化）之间具有多大程度的泛化能力？
• RQ4 在仅提供少量正常样本的少样本训练条件下，模型性能如何？
• RQ5 深度特征过渡机制是否缓解了自编码器中常见的身份映射问题，从而提升重建的判别能力？

主要发现

• ST-MAE 在多个 VAD 基准测试中实现最先进性能，展现出在多样化应用场景下的卓越泛化能力。
• 在 MVTec AD 数据集上，16-shot 设置下平均像素级 AUC ROC 达到 86.6%，优于现有少样本方法如 SPADE 和 PaDim。
• 消融实验确认，深度特征过渡机制对于抑制身份映射和提升特征判别能力至关重要。
• 可视化结果表明，ST-MAE 将异常重建为正常模式，表明其有效学习了典型正常特征。
• 由于采用轻量化解码器和特征级重建，该方法具备高推理效率，适用于实时部署。
• 通过特征解耦与过渡生成的隐式预训练任务数量（$C_{N^2}^{N^2/2}$）显著增强了低数据场景下的鲁棒性。