[论文解读] Pushing the Envelope of Thin Crack Detection

Xu Liang, Taro Hatsutani+4 more|arXiv (Cornell University)|Jan 9, 2021

Infrastructure Maintenance and Monitoring参考文献 32被引用 4

一句话总结

该论文提出了一种新颖的深度学习框架，通过在下采样图像中的人类标注（即超人类标签）上训练卷积神经网络（CNNs），实现对混凝土图像中亚像素级细裂缝的检测。通过在低分辨率输入上使用高分辨率标签进行训练，模型能够检测出低于人类感知极限的裂缝，在输入分辨率仅为1/3时仍能达到接近人类的性能。通过P池化、基于形状先验的后处理以及不确定性建模等额外改进，进一步提升了对细小且断裂裂缝的检测精度。

ABSTRACT

In this study, we consider the problem of detecting cracks from the image of a concrete surface for automated inspection of infrastructure, such as bridges. Its overall accuracy is determined by how accurately thin cracks with sub-pixel widths can be detected. Our interest is in making it possible to detect cracks close to the limit of thinness if it can be defined. Toward this end, we first propose a method for training a CNN to make it detect cracks more accurately than humans while training them on human-annotated labels. To achieve this seemingly impossible goal, we intentionally lower the spatial resolution of input images while maintaining that of their labels when training a CNN. This makes it possible to annotate cracks that are too thin for humans to detect, which we call super-human labels. We experimentally show that this makes it possible to detect cracks from an image of one-third the resolution of images used for annotation with about the same accuracy. We additionally propose three methods for further improving the detection accuracy of thin cracks: i) P-pooling to maintain small image structures during downsampling operations; ii) Removal of short-segment cracks in a post-processing step utilizing a prior of crack shapes learned using the VAE-GAN framework; iii) Modeling uncertainty of the prediction to better handle hard labels beyond the limit of CNNs' detection ability, which technically work as noisy labels. We experimentally examine the effectiveness of these methods.

研究动机与目标

• 解决在混凝土基础设施图像中检测超细裂缝这一关键挑战，这些裂缝因亚像素宽度而常被人类标注者忽略。
• 克服标准CNN训练的根本局限：当使用人工标注数据时，模型性能受限于人工标注者的准确率。
• 通过引入一种新颖的训练范式——在低分辨率输入图像上训练，同时保留高分辨率真实标签，实现对低于人类感知阈值的裂缝检测。
• 通过结构化、基于形状以及不确定性感知的后处理技术，提升对细小和断裂裂缝检测的鲁棒性。

提出的方法

• 通过在下采样输入图像（如×1/3分辨率）上训练CNN，同时保留高分辨率真实标签，引入‘超人类标签’，使模型能够检测出人类标注者无法察觉的细小裂缝。
• 在U-Net*架构中引入P池化（p=3），在下采样过程中保留细粒度图像结构，增强对细小裂缝的特征提取能力。
• 采用VAE-GAN框架学习真实裂缝形状的先验分布，随后在后处理中利用该先验过滤掉短而虚假的裂缝片段。
• 通过可学习损失函数建模预测不确定性，将超出CNN检测极限的硬标签视为噪声，从而提升在模糊或超细裂缝上的泛化能力。
• 将所有组件整合为一个流水线：超人类标签训练 → P池化网络 → 不确定性感知训练 → 基于形状的后处理，实现最终检测。

实验结果

研究问题

• RQ1 当仅使用人工标注标签时，是否可以训练出检测精度高于人类标注者的CNN？
• RQ2 在训练过程中对输入图像进行下采样，在多大程度上能够实现对低于人类感知阈值裂缝的检测？
• RQ3 P池化在下采样过程中对保留对细小裂缝检测至关重要的细粒度结构细节方面，效果如何？
• RQ4 从VAE-GAN学习到的形状先验是否能有效去除后处理中虚假的短段裂缝？
• RQ5 在损失函数中引入不确定性建模，是否能提升对超出CNN名义检测能力的困难亚像素裂缝的检测性能？

主要发现

• 在×1/3分辨率输入上进行训练，同时使用全分辨率标签，即使在测试时输入分辨率仅为×1/3，也能实现与人类水平相当的检测精度，×3下采样时F1分数达到0.847/0.858（不确定性建模前/后）。
• P池化在所有分辨率组合下均提升了检测精度，尤其在测试分辨率高于训练分辨率时增益最显著（如×4测试 vs. ×1训练：F1分数从0.783提升至0.776，经P池化后）。
• 基于形状先验的后处理可有效去除虚假短段裂缝，在训练与测试分辨率一致时，F1分数最高提升0.036（如×8训练/测试：F1从0.694提升至0.720）。
• 不确定性建模仅在低分辨率输入上训练时有效；例如在×8训练分辨率下，使用不确定性感知损失时F1分数从0.553提升至0.572。
• 整合超人类标签、P池化、形状先验过滤与不确定性建模的完整流水线，在×8测试分辨率下实现了最高的F1分数0.874（基线为0.856），表明各模块间存在协同增益。
• 该方法可实现对低于人类感知极限裂缝的检测：例如在×8测试分辨率下，模型检测到了人类标注者无法察觉的极细裂缝，该结论通过标签一致性与性能提升得到验证。