[论文解读] Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection

Yuanze Li, Haolin Wang+7 more|arXiv (Cornell University)|Oct 29, 2023

vaccines and immunoinformatics approaches被引用 9

一句话总结

Myriad 将 vision-expert 异常图融入基于 MiniGPT-4 的大规模多模态模型，以实现具有详细描述的明确工业异常检测，在一类和少样本设置中超越若干 state-of-the-art 的 IAD 方法。

ABSTRACT

Due to the training configuration, traditional industrial anomaly detection (IAD) methods have to train a specific model for each deployment scenario, which is insufficient to meet the requirements of modern design and manufacturing. On the contrary, large multimodal models~(LMMs) have shown eminent generalization ability on various vision tasks, and their perception and comprehension capabilities imply the potential of applying LMMs on IAD tasks. However, we observe that even though the LMMs have abundant knowledge about industrial anomaly detection in the textual domain, the LMMs are unable to leverage the knowledge due to the modality gap between textual and visual domains. To stimulate the relevant knowledge in LMMs and adapt the LMMs towards anomaly detection tasks, we introduce existing IAD methods as vision experts and present a novel large multimodal model applying vision experts for industrial anomaly detection~(abbreviated to {Myriad}). Specifically, we utilize the anomaly map generated by the vision experts as guidance for LMMs, such that the vision model is guided to pay more attention to anomalous regions. Then, the visual features are modulated via an adapter to fit the anomaly detection tasks, which are fed into the language model together with the vision expert guidance and human instructions to generate the final outputs. Extensive experiments are applied on MVTec-AD, VisA, and PCB Bank benchmarks demonstrate that our proposed method not only performs favorably against state-of-the-art methods, but also inherits the flexibility and instruction-following ability of LMMs in the field of IAD. Source code and pre-trained models are publicly available at \url{https://github.com/tzjtatata/Myriad}.

研究动机与目标

• 推动工业异常检测（IAD）需求超越二元异常图与分数，目标是明确判断和详细描述。
• 利用现有 IAD 模型作为视觉专家，将领域知识注入到大规模多模态模型中。
• 创建一个标记化与引导机制，使大语言模型能够利用专家先验完成 IAD 任务。
• 通过领域适配器增强视觉表示，弥合通用与工业图像之间的差距。
• 在标准 IAD 基准上展示改进的性能并提供定性异常描述。

提出的方法

• 以 MiniGPT-4 作为基础 LMM，引入 Expert Perception 模块将 vision-expert 输出转换为 LLM 可读的标记（VE-Tokenizer）。
• 在视觉编码器上附加领域适配器，以提高用于异常检测的工业视觉特征提取。
• 开发 Vision Expert Instructor，生成与视觉特征通过 cross-attention 在 Q-Former 中交互的专家查询标记，使视觉-语言对齐在专家先验引导下进行。
• 提出 Expert-Driven Vision-Language Extraction，将领域特定的视觉-语言表示与 LLM 融合，减轻 vision-expert 错误。
• 以包含模板与合成异常的 IAD 指令数据集进行训练，使模型具备对异常描述任务的指令遵循能力。

实验结果

研究问题

• RQ1 一个增强了 vision-expert 先验的大型多模态模型（LMM）是否不仅可以实现异常定位，还能在 IAD 中给出明确缺陷判断和丰富描述？
• RQ2 如何将来自预训练 IAD 模型的异常图转换为 LLM 可理解的标记，以及与领域适配视觉的 cross-attention 如何提升 IAD 描述？
• RQ3 vision-expert 先验在标准基准的零-shot、少样本和一类设置下是否提升 IAD 性能？
• RQ4 VE-Tokenizer 与 Vision Expert Instructor 组件对检测准确性与描述能力有何影响？
• RQ5 在不同设置下引入视觉专家时，是否在 MVTec-AD 与 VisA 上具有鲁棒性表现？

主要发现

• Myriad 在 MVTec-AD 的一类异常检测实现具有竞争力的准确性，在所报告的设置中超越若干基线。
• 在零-shot 与少样本设置下，利用 vision-expert 先验的 Myriad 展现出较强的准确性和定位能力，相较于当代方法。
• 定性结果表明 Myriad 能提供明确的异常判断（存在性、类别、计数）以及跨数据集的详细内容描述（如阴影投射、切割、裂纹）。
• 消融研究证实 VE-Tokenizer 与 Vision Expert Instructor 对使专家先验与工业视觉-语言表示对齐的重要性，提升性能。
• 在 MVTec-AD 与 VisA 上的实验表明 Myriad 能在零-shot、一次性与一类配置下工作，通常超越或达到最先进方法在这些范式中的表现。