[论文解读] Weakly Supervised Segmentation of Cracks on Solar Cells using Normalized Lp Norm

Martin Mayr, Mathis Hoffmann+2 more|arXiv (Cornell University)|Jan 30, 2020

Industrial Vision Systems and Defect Detection被引用 5

一句话总结

本文提出了一种弱监督深度学习方法，通过在微调后的ResNet-50特征图上应用归一化的Lp范数池化，实现对太阳能电池电致发光（EL）图像中裂纹的分割。该方法仅使用图像级标注即可实现精确的裂纹定位，研究结果表明，L∞范数能产生最锐利的分割结果，在保留细小裂纹结构方面优于较低p值的范数，尽管部分范数的分类性能较低。

ABSTRACT

Photovoltaic is one of the most important renewable energy sources for dealing with world-wide steadily increasing energy consumption. This raises the demand for fast and scalable automatic quality management during production and operation. However, the detection and segmentation of cracks on electroluminescence (EL) images of mono- or polycrystalline solar modules is a challenging task. In this work, we propose a weakly supervised learning strategy that only uses image-level annotations to obtain a method that is capable of segmenting cracks on EL images of solar cells. We use a modified ResNet-50 to derive a segmentation from network activation maps. We use defect classification as a surrogate task to train the network. To this end, we apply normalized Lp normalization to aggregate the activation maps into single scores for classification. In addition, we provide a study how different parameterizations of the normalized Lp layer affect the segmentation performance. This approach shows promising results for the given task. However, we think that the method has the potential to solve other weakly supervised segmentation problems as well.

研究动机与目标

• 为解决单晶和多晶太阳能电池电致发光（EL）图像中裂纹分割的挑战，其中像素级掩码的获取成本高昂。
• 开发一种仅使用图像级标签进行训练的弱监督学习方法，以减轻标注负担。
• 研究不同归一化Lp范数池化策略对弱监督语义分割性能的影响。
• 在噪声大、颗粒感强的多晶太阳能电池EL图像中实现稳健的裂纹检测，同时避免因汇流条和纹理相似性导致的误报。
• 为光伏生产与维护中的工业级质量控制提供可扩展的、单次前向传播解决方案。

提出的方法

• 采用修改后的ResNet-50架构，通过减少早期模块的下采样操作以保留空间分辨率，便于分割任务。
• 使用图像级标注作为监督信号，训练网络最后一层的分类头。
• 对每个特征图独立应用归一化的Lp范数池化，将激活图聚合为全局图像级得分。
• 该方法利用最后一卷积层的激活图作为伪分割图，通过归一化实现尺度不变性。
• 系统评估不同p值（从1到∞）在归一化Lp范数中的影响，以分析其对分割质量的作用。
• 最终的分割输出源自'裂纹'类别对应的激活图，其中L∞范数产生最锐利的定位结果。

实验结果

研究问题

• RQ1 归一化Lp范数的选择如何影响在太阳能电池EL图像中裂纹检测的弱监督分割质量？
• RQ2 仅使用图像级标注，能否通过深度网络的单次前向传播生成有意义的裂纹分割结果？
• RQ3 在使用不同Lp范数时，分类性能是否与分割质量相关？
• RQ4 归一化Lp范数中的不同p值如何影响对细小、锐利裂纹与较大、块状缺陷的定位效果？
• RQ5 尽管存在结构与纹理差异，该方法是否能在单晶和多晶太阳能电池类型上实现良好泛化？

主要发现

• L∞范数产生最锐利且最精确的裂纹分割结果，能有效突出细小、边缘清晰的裂纹，同时抑制噪声。
• L1和L3范数的分类F1得分最高（0.83），但其分割结果模糊且精度较低。
• L4和L5范数的分割效果差，无法检测到明显的裂纹区域，表明高p值对锐利定位至关重要。
• 低p值（如L1–L4）的激活图在非裂纹区域显示高激活值，而高p值（如L∞）则反转此现象，使裂纹区域成为高激活区域。
• 分割质量与分类性能并非严格相关；L∞范数虽F1得分较低（0.77），但分割效果仍优异。
• 该方法在单晶和多晶太阳能电池中均能成功分割裂纹，即使在存在噪声纹理和与裂纹相似的汇流条结构时也表现良好。