[论文解读] Surface Defect Detection and Evaluation for Marine Vessels using Multi-Stage Deep Learning

Yu Li, Kareem Metwaly+2 more|arXiv (Cornell University)|Mar 17, 2022

Structural Integrity and Reliability Analysis被引用 4

一句话总结

本文提出了一种用于使用普通照片在船舶上实现表面缺陷检测与覆盖率估算的多阶段深度学习框架。该系统对船体部分进行分割，检测缺陷（腐蚀、分层、污损），并通过采用教师-学生训练和空间变换网络的多标签分类网络进行分类，其性能在新整理的大规模数据集上与人工检查员相当。

ABSTRACT

Detecting and evaluating surface coating defects is important for marine vessel maintenance. Currently, the assessment is carried out manually by qualified inspectors using international standards and their own experience. Automating the processes is highly challenging because of the high level of variation in vessel type, paint surface, coatings, lighting condition, weather condition, paint colors, areas of the vessel, and time in service. We present a novel deep learning-based pipeline to detect and evaluate the percentage of corrosion, fouling, and delamination on the vessel surface from normal photographs. We propose a multi-stage image processing framework, including ship section segmentation, defect segmentation, and defect classification, to automatically recognize different types of defects and measure the coverage percentage on the ship surface. Experimental results demonstrate that our proposed pipeline can objectively perform a similar assessment as a qualified inspector.

研究动机与目标

• 开发一种自动化、一致且客观的系统，用于检测和量化船舶表面涂层缺陷。
• 解决传统计算机视觉方法在船舶类型、涂层、光照和环境条件方面高度可变性所面临的挑战。
• 创建一个全面的、真实世界中的标注船舶图像数据集，用于缺陷检测研究。
• 设计一种深度学习流水线，使其在缺陷评估方面达到人工检查员的准确度，同时提高效率和一致性。
• 实现对不同船体部分（TS、BT、VS）缺陷覆盖率百分比的精确估算。

提出的方法

• 该框架采用多阶段流水线：船体部分分割、缺陷分割和多标签缺陷分类。
• 缺陷分割采用教师-学生训练方案，以提升在粗略和不完整标注下的性能。
• 采用具有两个检测头和空间变换网络（STNs）的多标签分类网络，以检测重叠缺陷并优化输入图像块的特征提取。
• 系统将2D缺陷掩码转换为每船体部分的1D边界，以减少数据需求并提高覆盖率估算的一致性。
• 通过后处理引入领域知识（例如污损通常出现在船体下部）以优化预测结果。
• 创建了一个包含数百张人工标注的船舶图像的新型数据集，用于系统训练与评估。

实验结果

研究问题

• RQ1 在高度多变的成像和环境条件下，基于深度学习的系统能否实现与人类检查员相当的船舶表面缺陷检测与量化精度？
• RQ2 多阶段深度学习框架如何有效处理单张图像中腐蚀、分层和污损等重叠缺陷？
• RQ3 在船舶图像缺陷检测中，采用多标签分类方法与多分类方法相比有何影响？
• RQ4 当标签不完整或粗糙时，教师-学生训练如何提升分割性能？
• RQ5 空间变换网络能否通过在特征提取前对输入图像块进行对齐来增强缺陷检测？

主要发现

• 所提出的多标签分类方法实现了0.76的平衡准确率和0.72的F1分数，显著优于多分类方法（平衡准确率：0.54，F1分数：0.63）。
• 采用多标签分类和STNs的DFE-NET模型在缺陷检测中实现了0.82的F1分数，显示出在分层等复杂缺陷上的优越性能。
• 教师-学生训练方案通过利用预训练教师模型生成的伪标签，提升了缺陷分割性能。
• 该系统在不同船体部分（TS、BT、VS）上实现了稳定且客观的缺陷覆盖率估算，结果与合格人工检查员相当。
• 通过将2D掩码转换为每部分的1D边界，该框架减少了对大量训练数据的需求，提升了训练效率和一致性。
• 通过后处理引入领域知识（如污损位置）显著提升了最终预测准确率，表明未来可将其整合到损失函数中。