[论文解读] Unsupervised crack detection on complex stone masonry surfaces

Panagiotis Agrafiotis, Anastastios Doulamis+1 more|arXiv (Cornell University)|Mar 31, 2023

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

本文提出一种无监督深度学习方法，通过使用RGB图像块在复杂石材砌筑表面进行裂缝检测，将裂缝检测问题建模为异常检测问题。通过将最先进的CNN架构适配于二分类任务（'裂缝'或'无裂缝'），该方法在极少的训练数据和较少的训练轮次下实现了高精度，优于更复杂且数据需求更高的模型，同时保持了计算效率。

ABSTRACT

Computer vision for detecting building pathologies has interested researchers for quite some time. Vision-based crack detection is a non-destructive assessment technique, which can be useful especially for Cultural Heritage (CH) where strict regulations apply and, even simple, interventions are not permitted. Recently, shallow and deep machine learning architectures applied on various types of imagery are gaining ground. In this article a crack detection methodology for stone masonry walls is presented. In the proposed approach, crack detection is approached as an unsupervised anomaly detection problem on RGB (Red Green Blue) image patches. Towards this direction, some of the most popular state of the art CNN (Convolutional Neural Network) architectures are deployed and modified to binary classify the images or image patches by predicting a specific class for the tested imagery; 'Crack' or 'No crack', and detect and localize those cracks on the RGB imagery with high accuracy. Testing of the model was performed on various test sites and random images retrieved from the internet and collected by the authors and results suggested the high performance of specific networks compared to the rest, considering also the small numbers of epochs required for training. Those results met the accuracy delivered by more complex and computationally heavy approaches, requiring a large amount of data for training. Source code is available on GitHub https://github.com/pagraf/Crack-detection while datasets are available on Zenodo https://doi.org/10.5281/zenodo.6516913 .

研究动机与目标

• 解决在不依赖大规模标注数据集的情况下，检测文化遗产石材砌筑结构中结构性裂缝的挑战。
• 开发一种针对复杂、异质砌筑纹理的鲁棒无监督异常检测框架。
• 仅使用RGB图像实现准确且局部化的裂缝检测，适用于文化遗产场景中的非侵入式评估。
• 与监督深度学习方法相比，降低对大量训练数据和计算资源的依赖。

提出的方法

• 该方法将裂缝检测建模为在裁剪的RGB图像块上的无监督异常检测问题。
• 对预训练的CNN架构（如ResNet、DenseNet）进行微调，以实现图像块的二分类任务：'裂缝'与'无裂缝'。
• 通过网络的内部特征或激活模式计算异常分数，以识别指示裂缝的偏离模式。
• 模型通过仅使用正常（无裂缝）图像块进行端到端训练，无需在训练过程中使用正样本裂缝数据。
• 通过应用Grad-CAM或类似基于注意力的方法实现定位，以突出输入图像中的异常区域。
• 在多样化的实际砌筑现场及互联网获取的图像上对方法进行评估，以确保泛化能力。

实验结果

研究问题

• RQ1 无监督深度学习能否在无需标注裂缝数据的情况下，有效检测复杂、异质的石材砌筑表面中的裂缝？
• RQ2 哪些预训练的CNN架构在裂缝异常检测任务中对未见的砌筑纹理泛化性能最佳？
• RQ3 与监督方法相比，该无监督方法在准确率和数据效率方面表现如何？
• RQ4 该框架实现可靠裂缝检测所需的最少训练轮次是多少？

主要发现

• 所提出的无监督方法在检测精度上可与需要大规模标注数据集的复杂监督模型相媲美。
• 特定的CNN架构（如ResNet和DenseNet变体）在检测纹理砌筑表面上的细微裂缝方面优于其他模型。
• 该模型在多样化砌筑现场和真实图像（包括互联网获取的图像）上表现出良好的泛化能力。
• 通过基于注意力的显著性图实现了高精度定位，能够精确识别裂缝区域。
• 该方法仅需少量训练轮次，展现出强大的数据效率和低计算成本。
• 源代码和数据集已公开发布于GitHub和Zenodo，支持可复现性与进一步研究。