[论文解读] SIGAN: A Novel Image Generation Method for Solar Cell Defect Segmentation and Augmentation

Binyi Su, Zhong Zhou+2 more|arXiv (Cornell University)|Apr 11, 2021

Industrial Vision Systems and Defect Detection参考文献 30被引用 11

一句话总结

本文提出SIGAN，一种基于生成对抗网络（GAN）的新方法，用于太阳能电池电致发光（EL）缺陷分割与数据增强。通过引入强身份损失以保持背景一致性，SIGAN能够从有缺陷的图像生成无缺陷图像，从而通过图像相减与阈值化实现缺陷分割；同时，该方法还能生成逼真的合成缺陷图像用于数据增强，在EL-2019数据集上达到90.34%的F1分数，并将缺陷分类的F1值最高提升0.91%。

ABSTRACT

Solar cell electroluminescence (EL) defect segmentation is an interesting and challenging topic. Many methods have been proposed for EL defect detection, but these methods are still unsatisfactory due to the diversity of the defect and background. In this paper, we provide a new idea of using generative adversarial network (GAN) for defect segmentation. Firstly, the GAN-based method removes the defect region in the input defective image to get a defect-free image, while keeping the background almost unchanged. Then, the subtracted image is obtained by making difference between the defective input image with the generated defect-free image. Finally, the defect region can be segmented through thresholding the subtracted image. To keep the background unchanged before and after image generation, we propose a novel strong identity GAN (SIGAN), which adopts a novel strong identity loss to constraint the background consistency. The SIGAN can be used not only for defect segmentation, but also small-samples defective dataset augmentation. Moreover, we release a new solar cell EL image dataset named as EL-2019, which includes three types of images: crack, finger interruption and defect-free. Experiments on EL-2019 dataset show that the proposed method achieves 90.34% F-score, which outperforms many state-of-the-art methods in terms of solar cell defects segmentation results.

研究动机与目标

• 为解决工业应用中太阳能电池EL缺陷数据集质量低且样本不平衡的问题。
• 开发一种基于GAN的方法，能够从有缺陷的图像中生成保持复杂背景纹理的逼真无缺陷图像。
• 通过原始图像与生成的无缺陷图像之间的相减操作，实现无需像素级标注的精确缺陷分割。
• 通过生成多样化、高质量的合成缺陷图像，实现小样本缺陷检测的数据增强。
• 发布一个全新的、公开可用的EL-2019数据集，包含三种缺陷类型：裂纹、栅线中断和无缺陷。

提出的方法

• SIGAN采用条件生成对抗网络（conditional GAN）框架，并引入一种新颖的强身份损失，以在有缺陷图像到无缺陷图像的图像到图像翻译过程中强制保持背景一致性。
• 该方法利用循环一致性损失和对抗性损失，实现在无需像素级标注情况下的成对图像翻译。
• 缺陷分割通过将生成的无缺陷图像从原始有缺陷输入图像中相减，再经阈值化处理以分离出缺陷区域。
• 在数据增强方面，SIGAN执行反向翻译——从无缺陷图像生成逼真的缺陷图像，从而扩展小规模训练集。
• 强身份损失确保在有缺陷图像到无缺陷图像以及无缺陷图像到有缺陷图像的双向翻译过程中，背景纹理几乎保持不变，从而提升生成图像的真实感与一致性。
• 模型在256×256图像块分辨率下进行训练，GPU上单张图像的推理速度为62毫秒。

实验结果

研究问题

• RQ1 基于GAN的方法能否在保持复杂背景纹理的前提下，有效从有缺陷的太阳能电池EL图像中生成无缺陷图像？
• RQ2 将生成的无缺陷图像从原始有缺陷图像中相减，是否能在无需像素级标注的情况下实现准确的缺陷分割？
• RQ3 将无缺陷图像反向翻译为逼真的缺陷图像，能否有效增强小规模工业缺陷数据集？
• RQ4 在真实世界太阳能电池EL数据集上，所提出的SIGAN方法在缺陷分割F1分数方面与当前最先进方法相比表现如何？
• RQ5 基于SIGAN的数据增强策略在多大程度上提升了下游卷积神经网络模型在太阳能电池缺陷分类任务中的性能？

主要发现

• SIGAN在EL-2019数据集上的缺陷分割任务中达到90.34%的F1分数，优于多种当前最先进方法。
• 当使用SIGAN增强的数据时，下游分类模型的总F1值最高提升0.91%，其中DenseNet121在增强数据集上达到99.85%的F1值。
• 使用SIGAN生成的数据使缺陷与无缺陷样本之间的类别边界更加清晰，尤其提升了对低对比度或光照不足缺陷的识别能力。
• 该数据增强策略通过增加训练分布的多样性，减少了模型过拟合，增强了泛化能力。
• SIGAN的推理速度为每张图像62毫秒，效率高，适合工业部署。
• 该方法目前仅限于生成256×256图像块，将模型扩展至完整的1024×1024 EL图像仍是未来需要解决的挑战。