[论文解读] Zero-Shot Anomaly Detection with Pre-trained Segmentation Models

Matthew Baugh, James Batten+2 more|arXiv (Cornell University)|Jun 15, 2023

Anomaly Detection Techniques and Applications被引用 4

一句话总结

本文提出了一种零样本异常检测方法，通过整合零样本分割模型来增强WinCLIP，以提升定位性能。通过结合前景实例分割、基于CLIP的提示工程以及多层级预测聚合，该方法在VisA数据集上实现了最先进性能，样本级别F1-max得分为81.5，像素级别得分为24.2，在VAND 2023挑战赛中排名第三。

ABSTRACT

This technical report outlines our submission to the zero-shot track of the Visual Anomaly and Novelty Detection (VAND) 2023 Challenge. Building on the performance of the WINCLIP framework, we aim to enhance the system's localization capabilities by integrating zero-shot segmentation models. In addition, we perform foreground instance segmentation which enables the model to focus on the relevant parts of the image, thus allowing the models to better identify small or subtle deviations. Our pipeline requires no external data or information, allowing for it to be directly applied to new datasets. Our team (Variance Vigilance Vanguard) ranked third in the zero-shot track of the VAND challenge, and achieve an average F1-max score of 81.5/24.2 at a sample/pixel level on the VisA dataset.

研究动机与目标

• 解决在仅提供少量正常样本的工业场景中数据效率低下的异常检测挑战。
• 通过利用预训练分割模型提升零样本异常检测模型的定位精度。
• 开发一种无需外部数据或微调的流水线，可直接应用于新数据集。
• 在VAND 2023挑战赛零样本赛道中，于VisA数据集上实现最先进性能。

提出的方法

• 通过结合二值图像分割与Segment Anything Model (SAM)，执行前景提取，利用80%重叠阈值过滤SAM输出，以分离真实前景。
• 图像切片将每个前景实例划分为至少352×352像素的方形切片，对高长宽比物体沿长轴进行自适应切片，以保留物体组件。
• 采用组合提示集成方法进行样本级别分类，同时使用独立的通用名词提示实现像素级别的异常定位。
• 通过计算提示CLIP嵌入与每个切片图像嵌入之间余弦相似度的平均值，计算切片级别的异常得分，避免异常提示聚类平均带来的问题。
• 使用CLIPSeg生成像素级别预测，结合定位提示，对提示分割结果应用调和平均，以突出一致激活区域。
• 预测聚合通过整合切片级别得分来扩展像素级别预测，最终图像空间预测通过平均重叠切片输出，并采用前25%的前景组件得分用于样本级别分类。

实验结果

研究问题

• RQ1 零样本分割模型是否能在不引入额外训练数据的前提下提升零样本异常检测的定位性能？
• RQ2 前景实例分割在工业图像中如何提升对小尺寸或细微异常的检测能力？
• RQ3 基于CLIP的提示工程（使用通用异常描述词）在像素级别异常定位中是否显著优于标准WinCLIP提示？
• RQ4 多层级预测聚合（切片级别与像素级别）在多大程度上提升了整体检测的鲁棒性与准确性？
• RQ5 完全零样本的流水线是否能在无需任何数据集特定适配的情况下实现VisA数据集上的最先进性能？

主要发现

• 该方法在VisA数据集上实现了81.5的样本级别F1-max得分，超过WinCLIP基线的79.0，在VAND 2023零样本赛道中排名第三。
• 在像素级别，该方法实现了24.2的F1-max得分，显著优于WinCLIP基线的14.8，也优于挑战赛冠军APRIL-GAN的32.3。
• 整合前景分割有效减少了背景阴影导致的误报，并增强了对复杂或细长形状物体实例的关注。
• 在CLIPSeg提示输出上应用调和平均，提升了像素级别分割的一致性，尤其在细微异常情况下表现更优。
• 使用通用定位提示（如“缺陷”、“损伤”）相比复用全图WinCLIP提示，实现了更精确的异常定位。
• 通过采用前25%前景组件得分进行预测聚合，有效抑制了正常区域的噪声，提升了样本级别分类的鲁棒性。