[论文解读] Synthetic Image Augmentation for Damage Region Segmentation using Conditional GAN with Structure Edge

Takato Yasuno, Michihiro Nakajima+4 more|arXiv (Cornell University)|May 7, 2020

Industrial Vision Systems and Defect Detection被引用 5

一句话总结

本文提出了一种基于条件 GAN 的合成图像增强方法，以提升桥梁检测中损伤区域的分割性能，通过使用三分类标签（语义 + 结构边缘）生成逼真的损伤图像。通过应用 Sobel 算子增强结构边缘，并在 208 张真实照片中裁剪出的 840 张 224×224 图像上进行训练，该方法在 FCN-8s、SegNet 和 DeepLabv3+Xception-v2 上均提升了分割性能，仅在损伤区域像素覆盖率 0.6–1.5% 的情况下，实现了更高的平均 IoU、精确率、召回率和 F1 分数。

ABSTRACT

Recently, social infrastructure is aging, and its predictive maintenance has become important issue. To monitor the state of infrastructures, bridge inspection is performed by human eye or bay drone. For diagnosis, primary damage region are recognized for repair targets. But, the degradation at worse level has rarely occurred, and the damage regions of interest are often narrow, so their ratio per image is extremely small pixel count, as experienced 0.6 to 1.5 percent. The both scarcity and imbalance property on the damage region of interest influences limited performance to detect damage. If additional data set of damaged images can be generated, it may enable to improve accuracy in damage region segmentation algorithm. We propose a synthetic augmentation procedure to generate damaged images using the image-to-image translation mapping from the tri-categorical label that consists the both semantic label and structure edge to the real damage image. We use the Sobel gradient operator to enhance structure edge. Actually, in case of bridge inspection, we apply the RC concrete structure with the number of 208 eye-inspection photos that rebar exposure have occurred, which are prepared 840 block images with size 224 by 224. We applied popular per-pixel segmentation algorithms such as the FCN-8s, SegNet, and DeepLabv3+Xception-v2. We demonstrates that re-training a data set added with synthetic augmentation procedure make higher accuracy based on indices the mean IoU, damage region of interest IoU, precision, recall, BF score when we predict test images.

研究动机与目标

• 解决损伤区域分割中极端类别不平衡的问题，其中损伤像素仅占图像像素的 0.6–1.5%。
• 克服基础设施检测中真实损伤图像稀缺的问题，特别是对于如钢筋暴露等稀有退化类型。
• 通过生成逼真的合成损伤图像来扩充训练数据，从而提升语义分割模型的性能。
• 通过 Sobel 算子整合结构边缘信息，以在生成的损伤区域中保持几何保真度。
• 在多个最先进的分割网络上，通过合成增强管道展示一致的性能提升。

提出的方法

• 使用条件 GAN 学习从三分类标签图（语义分割 + Sobel 处理的结构边缘）到真实损伤图像的图像到图像翻译。
• 应用 Sobel 梯度算子增强输入标签图中的结构边缘，以保留对损伤定位至关重要的细节。
• 在从 208 张真实桥梁检测图像中提取的 840 张 224×224 裁剪图像块上训练 GAN。
• 使用训练好的条件 GAN 生成合成损伤图像，然后将其添加到原始训练集中。
• 在增强后的数据集上微调并评估标准语义分割模型（FCN-8s、SegNet、DeepLabv3+Xception-v2）。
• 使用平均交并比（mIoU）、损伤区域特定 IoU、精确率、召回率和 F1 分数作为评估指标。

实验结果

研究问题

• RQ1 使用条件 GAN 进行合成数据生成是否能提升桥梁检测中稀有损伤区域的分割性能？
• RQ2 通过 Sobel 算子整合结构边缘信息是否能提升生成损伤图像的真实感和实用性？
• RQ3 合成增强在低覆盖率损伤区域（0.6–1.5%）上对 mIoU 和 F1 分数的提升程度如何？
• RQ4 不同分割架构（FCN-8s、SegNet、DeepLabv3+Xception-v2）在该增强方法下受益程度如何？
• RQ5 性能提升是否在多个评估指标上保持一致，包括损伤类别的精确率和召回率？

主要发现

• 所提出的合成增强方法在所有评估的分割模型上显著提升了平均交并比（mIoU）。
• 在使用增强数据微调后，损伤区域特定 IoU 提高，表明对稀有损伤像素的定位能力得到改善。
• 精确率、召回率和 F1 分数（BF 分数）均显示可测量的提升，证实了对低覆盖率损伤区域检测能力的增强。
• 在输入条件中使用 Sobel 增强的结构边缘，可生成更具真实感和几何准确性的损伤图像。
• 性能提升在多种架构中保持一致，包括 FCN-8s、SegNet 和 DeepLabv3+Xception-v2。
• 该方法有效缓解了现实世界基础设施检测场景中数据稀缺和类别不平衡的影响。