[论文解读] Synthetic training data generation for deep learning based quality inspection

Pierre Gutierrez, Maria Luschkova+4 more|arXiv (Cornell University)|Apr 7, 2021

Industrial Vision Systems and Defect Detection被引用 26

一句话总结

本文提出了一种通用的仿真流程，用于生成具有高保真度、逼真的合成图像，涵盖有缺陷和无缺陷的金属零件，方法包括3D建模、纹理扫描以及领域随机化。结果表明，仅使用仿真数据进行训练的深度学习模型在真实测试数据上达到了0.54的mAP；而将仿真数据与真实数据结合使用时，性能进一步提升至mAP 0.75，优于仅使用真实数据训练的模型。

ABSTRACT

Deep learning is now the gold standard in computer vision-based quality inspection systems. In order to detect defects, supervised learning is often utilized, but necessitates a large amount of annotated images, which can be costly: collecting, cleaning, and annotating the data is tedious and limits the speed at which a system can be deployed as everything the system must detect needs to be observed first. This can impede the inspection of rare defects, since very few samples can be collected by the manufacturer. In this work, we focus on simulations to solve this issue. We first present a generic simulation pipeline to render images of defective or healthy (non defective) parts. As metallic parts can be highly textured with small defects like holes, we design a texture scanning and generation method. We assess the quality of the generated images by training deep learning networks and by testing them on real data from a manufacturer. We demonstrate that we can achieve encouraging results on real defect detection using purely simulated data. Additionally, we are able to improve global performances by concatenating simulated and real data, showing that simulations can complement real images to boost performances. Lastly, using domain adaptation techniques helps improving slightly our final results.

研究动机与目标

• 解决工业视觉检测中真实标注缺陷数据稀缺的问题，尤其是针对罕见缺陷。
• 克服为深度学习收集和标注真实训练数据所带来的高昂成本与人力投入。
• 开发一种可扩展、通用的仿真流程，用于生成多样化、逼真的合成图像，涵盖有缺陷和无缺陷的零件。
• 评估仅使用仿真数据或结合真实数据是否能在缺陷检测中实现工业级性能。
• 评估领域自适应技术在弥合质量检测中“仿真到真实”的领域差距方面的有效性。

提出的方法

• 使用摄影测量法，从真实图像中重建物理零件（例如大众齿轮叉）的3D模型。
• 应用光度立体法，捕获零件表面的高分辨率、细粒度纹理图。
• 实施参数化缺陷建模，以生成具有形状、尺寸和位置可控变化的逼真缺陷（如孔洞、裂纹等）。
• 使用3D渲染引擎生成合成图像，通过随机化光照、相机角度和背景条件来增强领域随机化。
• 应用领域自适应技术，如DANN、Wasserstein DANN、CORAL和ASS，以对齐仿真数据与真实数据的特征分布。
• 在不同组合的仿真与真实数据上训练基于YOLO的目标检测模型，并以mAP以及精确率/召回率为评估指标。

实验结果

研究问题

• RQ1 当仅使用合成数据进行训练时，深度学习模型是否能在真实世界缺陷检测中实现可接受的性能？
• RQ2 在仿真缺陷数据集中加入真实无缺陷图像，是否能提升模型泛化能力，还是会导致领域偏移和过拟合？
• RQ3 在工业缺陷检测中，结合使用仿真与真实训练数据是否优于仅使用真实数据？
• RQ4 领域自适应技术在多大程度上能提升在真实数据上测试的、基于仿真数据训练的模型的泛化能力？
• RQ5 所提出的仿真流程能否作为可扩展、可复用的框架，适用于多种零件和缺陷类型下的工业质量检测？

主要发现

• 仅使用仿真数据训练的模型在真实测试集上达到了0.54的平均精确率（mAP），证明仅靠合成数据即可实现有效的缺陷检测。
• 将仿真与真实训练数据结合使用，使mAP提升至0.75，超过了仅使用真实数据训练的模型所达到的0.72 mAP。
• 在仿真缺陷数据集中加入真实无缺陷图像后，导致严重过拟合，mAP降至0.38，召回率跌至0.10，表明因分布不匹配引发的领域混淆。
• 在所测试的领域自适应技术中，仅有监督领域自适应（ASS）方法带来微弱改进，使真实+仿真设置下的mAP提升0.01点。
• 领域自适应带来的收益有限，表明提升仿真流程中的逼真度和领域随机化效果，可能比采用复杂自适应方法更为有效。
• 结果证实，基于仿真的数据生成是真实数据的可行且互补的补充方法，尤其适用于罕见缺陷类型。