[论文解读] VISION Datasets: A Benchmark for Vision-based InduStrial InspectiON

Haoping Bai, Shancong Mou+7 more|arXiv (Cornell University)|Jun 13, 2023

Industrial Vision Systems and Defect Detection被引用 7

一句话总结

VISION Datasets 提供了一个包含18,000张工业检测图像和44种缺陷类型的基准数据集，涵盖14个工业检测数据集，所有划分均包含实例分割掩码，可支持无监督、弱监督、半监督及有监督缺陷检测方法的评估。该数据集支持全面的基准测试，并推动两项正在进行的竞赛，以促进基于视觉的工业检测系统的发展。

ABSTRACT

Despite progress in vision-based inspection algorithms, real-world industrial challenges -- specifically in data availability, quality, and complex production requirements -- often remain under-addressed. We introduce the VISION Datasets, a diverse collection of 14 industrial inspection datasets, uniquely poised to meet these challenges. Unlike previous datasets, VISION brings versatility to defect detection, offering annotation masks across all splits and catering to various detection methodologies. Our datasets also feature instance-segmentation annotation, enabling precise defect identification. With a total of 18k images encompassing 44 defect types, VISION strives to mirror a wide range of real-world production scenarios. By supporting two ongoing challenge competitions on the VISION Datasets, we hope to foster further advancements in vision-based industrial inspection.

研究动机与目标

• 通过提供一个真实、多样且可扩展的基准，弥合学术研究与实际工业视觉检测之间的差距。
• 克服现有数据集在全面标注方面的局限性，特别是实例级分割和多缺陷场景的缺失。
• 通过在所有数据划分中提供掩码，支持无监督、弱监督、半监督和有监督等多种缺陷检测方法。
• 通过两项竞赛活动推动创新，促进学术界与工业界研究人员和实践者的参与。
• 通过支持少样本学习、迁移学习和以数据为中心的方法论研究，提升模型泛化能力和数据效率。

提出的方法

• 收集并整理14个涵盖不同制造工艺、材料和产品的工业检测数据集。
• 为训练集、验证集和测试集中的所有图像提供实例分割掩码，实现缺陷的精确定位和个体缺陷识别。
• 通过区分单张图像中同一类型多个缺陷的差异，确保标注的一致性和细节程度。
• 设计数据集以支持多种学习范式（包括自监督、弱监督、半监督和完全监督方法）的评估。
• 在 VISION Datasets 上举办两项竞赛，以推动创新，并在真实工业条件下基准化算法性能。
• 通过 Hugging Face 公开发布数据集，确保广泛获取和可复现性。

Figure 1: Overview of the VISION Datasets.

实验结果

研究问题

• RQ1 在材料、工艺和缺陷类型各不相同的多样化工业场景下，基于 VISION Datasets 训练的视觉缺陷检测模型是否具备良好的泛化能力？
• RQ2 当应用于大规模、多缺陷、实例分割的工业基准时，无监督和弱监督方法的有效性如何？
• RQ3 与语义分割相比，实例级分割在检测重叠或多个缺陷时能多大程度上提升模型性能？
• RQ4 当应用于标注有限的真实工业检测数据时，数据生成和以数据为中心的技术（如主动学习、合成数据）表现如何？
• RQ5 迁移学习和领域自适应技术在提升模型对数据集中未充分表示的未见缺陷类型或工业条件的泛化能力方面，效果如何？

主要发现

• VISION Datasets 是迄今为止最大且最多样化的工业检测基准，涵盖14个数据集，共18,422张图像和44种不同的缺陷类型。
• 所有数据划分中均包含实例分割掩码，使有监督和弱监督缺陷检测模型的评估更加稳健，这是以往基准所不具备的能力。
• 该数据集支持所有主要学习范式——无监督、弱监督、半监督和有监督，使其在算法研究中具有独特的优势。
• 该数据集已成功支持两项竞赛活动，证明其在推动创新及促进学术界与工业界合作方面的实用价值。
• 竞赛参与者观察到跨数据集的正向迁移现象，表明在 VISION Datasets 上训练的模型可泛化至新的工业检测场景。
• 该数据集通过在大规模上提供高质量、详细的标注，解决了工业中数据稀缺和标注复杂性等关键挑战。