[论文解读] Segment Anything in Defect Detection

Bozhen Hu, Bin Gao+3 more|arXiv (Cornell University)|Nov 17, 2023

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

本文提出DefectSAM，一种基于大规模专家标注热缺陷数据集微调的新型基础模型，利用Segment Anything (SAM) 框架实现对高噪声红外热成像中缺陷的分割。通过利用专家提供的提示和领域特定的预训练，DefectSAM实现最先进性能，在平面型缺陷上达到100% F-score和78.58% IOU，在R型（不规则）热成像上达到81.98% IOU，显著优于现有方法，尤其在检测小尺寸、微弱且不规则形状缺陷方面表现突出。

ABSTRACT

Defect detection plays a crucial role in infrared non-destructive testing systems, offering non-contact, safe, and efficient inspection capabilities. However, challenges such as low resolution, high noise, and uneven heating in infrared thermal images hinder comprehensive and accurate defect detection. In this study, we propose DefectSAM, a novel approach for segmenting defects on highly noisy thermal images based on the widely adopted model, Segment Anything (SAM)\cite{kirillov2023segany}. Harnessing the power of a meticulously curated dataset generated through labor-intensive lab experiments and valuable prompts from experienced experts, DefectSAM surpasses existing state-of-the-art segmentation algorithms and achieves significant improvements in defect detection rates. Notably, DefectSAM excels in detecting weaker and smaller defects on complex and irregular surfaces, reducing the occurrence of missed detections and providing more accurate defect size estimations. Experimental studies conducted on various materials have validated the effectiveness of our solutions in defect detection, which hold significant potential to expedite the evolution of defect detection tools, enabling enhanced inspection capabilities and accuracy in defect identification.

研究动机与目标

• 解决在无损检测中从高度噪声的红外热成像中检测小尺寸、微弱且不规则形状缺陷的挑战。
• 克服现有深度学习模型在热成像分割中的局限性，包括过拟合以及在复杂表面的泛化能力差的问题。
• 开发一种通用且可适应的分割模型，能够在无需任务特定微调的情况下泛化于多种材料和缺陷类型。
• 提升实际工业检测场景中缺陷尺寸估计的准确性，并减少漏检。
• 建立用于热缺陷检测的基准数据集和模型，以促进未来研究和工具开发。

提出的方法

• 在来自光学脉冲热成像（OPT）和便携式OPT（POPT）系统的大型专家标注热成像数据集上微调预训练的Segment Anything Model (SAM)。
• 引入专家提供的提示以引导分割过程，提升对细微和不规则缺陷的检测能力。
• 采用两阶段训练范式：先在自然图像上进行预训练，再在热缺陷数据上进行领域特定微调。
• 应用提示引导的推理以提高分割精度，尤其在低对比度和噪声区域表现更优。
• 采用多材料、多几何结构的数据集，确保在多样化工业表面和缺陷类型上的鲁棒性。
• 使用标准指标（如F-score和交并比（IOU））在平面和不规则（R型）缺陷几何结构上验证模型性能。

实验结果

研究问题

• RQ1 像SAM这样的基础模型能否被有效适配以检测来自无损检测的高噪声热成像中的缺陷？
• RQ2 专家提供的提示在热成像中对微弱和不规则形状缺陷的分割精度提升有多大作用？
• RQ3 与现有SOTA模型相比，DefectSAM在不同材料和缺陷几何结构上的泛化能力如何？
• RQ4 单一模型是否能在无需任务特定微调的情况下，同时在平面和复杂不规则表面实现优越性能？
• RQ5 领域特定微调对热成像缺陷检测中IOU和F-score的影响如何？

主要发现

• DefectSAM在平面型和R型热成像上均达到100.0% F-score，优于所有现有方法，包括MedSAM和3D-UNet++。
• DefectSAM在平面型图像上达到78.58% IOU，在R型图像上达到81.98% IOU，分别较3D-UNet++-Sequence PCA提升18.05%和24.68%。
• 该模型成功分割了具有复杂非圆形形状的缺陷，避免了MedSAM中观察到的圆形偏差（即错误地将矩形缺陷分割为圆形）。
• DefectSAM展现出卓越的泛化能力，在传统模型失效的低对比度、高噪声条件下仍能检测到所有缺陷。
• 该模型无需在热成像数据上进行额外训练，即保持高性能，表明其从自然图像预训练中具备强大的零样本迁移能力。
• 专家提供的提示显著减少了漏检并提升了形状准确性，尤其在小尺寸和微弱缺陷上表现更优。