[论文解读] Synthetic Data Augmentation Using GAN For Improved Automated Visual Inspection

Jože M. Rožanec, Patrik Zajec+4 more|arXiv (Cornell University)|Dec 19, 2022

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

本文提出使用生成对抗网络（GANs）进行合成数据增强，以提升制造环境中监督视觉检测模型的性能，即使仅有25%的缺陷图像，AUC-ROC得分仍超过0.9898。该方法通过生成逼真的缺陷图像显著减少了标注工作量，优于传统过采样和无监督方法。

ABSTRACT

Quality control is a crucial activity performed by manufacturing companies to ensure their products conform to the requirements and specifications. The introduction of artificial intelligence models enables to automate the visual quality inspection, speeding up the inspection process and ensuring all products are evaluated under the same criteria. In this research, we compare supervised and unsupervised defect detection techniques and explore data augmentation techniques to mitigate the data imbalance in the context of automated visual inspection. Furthermore, we use Generative Adversarial Networks for data augmentation to enhance the classifiers' discriminative performance. Our results show that state-of-the-art unsupervised defect detection does not match the performance of supervised models but can be used to reduce the labeling workload by more than 50%. Furthermore, the best classification performance was achieved considering GAN-based data generation with AUC ROC scores equal to or higher than 0,9898, even when increasing the dataset imbalance by leaving only 25\% of the images denoting defective products. We performed the research with real-world data provided by Philips Consumer Lifestyle BV.

研究动机与目标

• 解决因产品品质提升和缺陷零件频率下降导致的自动化视觉检测中的类别不平衡问题。
• 在真实制造场景中对比监督与无监督缺陷检测模型的性能。
• 评估基于GAN的数据增强在极端类别不平衡条件下对分类器性能的提升效果。
• 通过利用无监督模型预筛选并标注非缺陷图像，减少人工标注工作量。

提出的方法

• 使用飞利浦消费生活公司（Philips Consumer Lifestyle BV）提供的剃须刀图像真实世界数据集，按类别分为良品、双重打印和打印中断缺陷。
• 使用预训练的ResNet18作为特征提取器，训练一个监督式多层感知机（MLP）分类器。
• 应用轻量级GAN（Lightweight GAN）生成合成缺陷图像，扩充训练集以平衡类别分布。
• 将基于GAN的增强方法与传统过采样技术（SMOTE、ADASYN、RANDOM）及无监督DRAEM方法进行对比。
• 在不同类别不平衡水平（保留25%、50%、75%的缺陷图像）下，通过二分类和多分类设置中的AUC-ROC评估性能。
• 在自定义卷积神经网络（CNN）模型中使用加权与非加权损失函数，评估类别不平衡对训练动态的影响。

实验结果

研究问题

• RQ1 在极端类别不平衡条件下，基于GAN的数据增强是否能显著提升监督视觉检测模型的性能？
• RQ2 在真实工业环境中，最先进无监督缺陷检测方法（DRAEM）的性能与监督模型相比如何？
• RQ3 无监督模型在多大程度上可通过自动识别和标注非缺陷图像，减少人工标注工作量？
• RQ4 在AUC-ROC指标和对不平衡的鲁棒性方面，基于GAN的数据增强是否优于SMOTE和ADASYN等传统过采样技术？
• RQ5 不同的损失函数（加权与非加权）如何影响在类别不平衡视觉检测数据集上训练的深度学习模型的性能？

主要发现

• 表现最佳的模型在使用基于GAN的数据增强后，AUC-ROC得分为0.9966，即使仅保留25%的缺陷图像，得分仍持续高于0.9898。
• 在二分类设置中，监督模型的AUC-ROC得分比SOTA无监督DRAEM模型至少高出0.0892。
• 与未增强训练相比，基于GAN的增强使模型性能提升了0.0063–0.0074 AUC-ROC点，且优于所有传统过采样方法。
• 无监督DRAEM模型在识别非缺陷图像方面表现有效，可实现此类图像的自动标注，使人工标注工作量减少超过50%。
• 使用预训练ResNet18作为特征提取器的基线MLP模型结合GAN增强后达到最高性能；而在自定义CNN模型中，类别不平衡较强时，损失加权反而导致性能下降。
• 传统过采样技术（SMOTE、ADASYN、RANDOM）在多数情况下提升了性能，但未能超越基于GAN的增强方法，且在GBDT模型上表现不一致。