[论文解读] Towards Generic Anomaly Detection and Understanding: Large-scale Visual-linguistic Model (GPT-4V) Takes the Lead

Yunkang Cao, Xiaohao Xu+3 more|arXiv (Cornell University)|Nov 5, 2023

Anomaly Detection Techniques and Applications被引用 13

一句话总结

本文将 GPT-4V 作为通用的多模态异常检测器进行评估，覆盖图像、视频、点云和时间序列数据，使用提示策略以及包含类别、专家和参考信息的提示来识别正常与异常模式。

ABSTRACT

Anomaly detection is a crucial task across different domains and data types. However, existing anomaly detection models are often designed for specific domains and modalities. This study explores the use of GPT-4V(ision), a powerful visual-linguistic model, to address anomaly detection tasks in a generic manner. We investigate the application of GPT-4V in multi-modality, multi-domain anomaly detection tasks, including image, video, point cloud, and time series data, across multiple application areas, such as industrial, medical, logical, video, 3D anomaly detection, and localization tasks. To enhance GPT-4V's performance, we incorporate different kinds of additional cues such as class information, human expertise, and reference images as prompts.Based on our experiments, GPT-4V proves to be highly effective in detecting and explaining global and fine-grained semantic patterns in zero/one-shot anomaly detection. This enables accurate differentiation between normal and abnormal instances. Although we conducted extensive evaluations in this study, there is still room for future evaluation to further exploit GPT-4V's generic anomaly detection capacity from different aspects. These include exploring quantitative metrics, expanding evaluation benchmarks, incorporating multi-round interactions, and incorporating human feedback loops. Nevertheless, GPT-4V exhibits promising performance in generic anomaly detection and understanding, thus opening up a new avenue for anomaly detection.

研究动机与目标

• 激发超越特定模态方法的通用、高层次的异常检测方法。
• 研究一个大型视觉-语言模型（GPT-4V）是否能够在图像、视频、点云和时间序列数据上检测异常。
• 评估提示、辅助线索和参考信息如何影响零样本和一-shot 异常检测性能。
• 提供跨工业、医疗、逻辑和交通场景的定性示例，以理解能力与局限。

提出的方法

• 设计四种提示类型来引导 GPT-4V：任务信息、类别信息、正常标准和参考图像提示。
• 在模态（图像、视频、点云、时间序列）和领域（工业、医疗、监控）中评估 GPT-4V。
• 在零样本和一-shot 设置中，带有或不带正常参考图像，以研究鲁棒性及提示的影响。
• 通过将掩模转换或引导来利用视觉提示方法进行定位任务，并使用类似 SoM 的策略对局部区域进行分类。
• 在点云中，将数据转换为多视角深度图像，以与基于图像的基础模型提示对齐（受 CPMF 启发）。
• 包含定性案例演示与优缺点分析，并对未来的定量评估和人-在环改进提出建议。

Figure 1 : Comprehensive Evaluation of GPT-4V for Multi-modality Multi-task Anomaly Detection In this study, we conduct a thorough evaluation of GPT-4V in the context of multi-modality anomaly detection. We consider four modalities: image, video, point cloud, and time series, and explore nine specif

实验结果

研究问题

• RQ1 GPT-4V 是否能够在零样本和一样本设置下，在多模态（图像、视频、点云、时间序列）中执行异常检测？
• RQ2 不同的提示（任务、类别、正常标准、参考图像）如何影响 GPT-4V 在不同领域检测并解释异常的能力？
• RQ3 在全局与细粒度异常理解与定位方面，GPT-4V 的能力与局限性是什么？
• RQ4 在将 GPT-4V 应用于工业、医疗和监控异常任务方面，出现了哪些实际建议和未来方向？

主要发现

• GPT-4V 在零样本和一样本情境下，跨多模态和多领域任务展示出稳健的异常检测能力。
• GPT-4V 能理解全局和细粒度的语义，以检测和定位异常，并在工业图像中给出精确定位的示例。
• GPT-4V 可以自动推理复杂的正常标准并为检测到的异常生成解释。
• 额外的提示（类别信息、人工专家、参考图像）提升了异常检测性能。
• 由于评估的定性性质和领域特定约束，实际应用仍具挑战性，但 GPT-4V 在各种场景中显示出潜力。

Figure 2 : Industrial Image Anomaly Detection: Case 1, zero-shot, the Bottle category of MVTec AD [ 6 ] . Yellow highlights the given class information and normal and abnormal state descriptions. Green , red , and blue highlight the expected, incorrect, and additional information outputted by GPT-4V