[论文解读] PointCrack3D: Crack Detection in Unstructured Environments using a 3D-Point-Cloud-Based Deep Neural Network

Faris Azhari, Charlotte Sennersten+2 more|arXiv (Cornell University)|Nov 22, 2021

Infrastructure Maintenance and Monitoring被引用 6

一句话总结

PointCrack3D 是一种基于三维点云的深度学习方法，用于在自然岩壁和矿井隧道等非结构化环境中检测裂缝。它采用自适应下采样、逐点深度神经网络（DNN）分类器以及后处理聚类，实现了 97% 的整体裂缝检测率，且对宽度超过 3 cm 的裂缝检测率达 100%，在样本内和样本外数据集上均优于当前最先进方法。

ABSTRACT

Surface cracks on buildings, natural walls and underground mine tunnels can indicate serious structural integrity issues that threaten the safety of the structure and people in the environment. Timely detection and monitoring of cracks are crucial to managing these risks, especially if the systems can be made highly automated through robots. Vision-based crack detection algorithms using deep neural networks have exhibited promise for structured surfaces such as walls or civil engineering tunnels, but little work has addressed highly unstructured environments such as rock cliffs and bare mining tunnels. To address this challenge, this paper presents PointCrack3D, a new 3D-point-cloud-based crack detection algorithm for unstructured surfaces. The method comprises three key components: an adaptive down-sampling method that maintains sufficient crack point density, a DNN that classifies each point as crack or non-crack, and a post-processing clustering method that groups crack points into crack instances. The method was validated experimentally on a new large natural rock dataset, comprising coloured LIDAR point clouds spanning more than 900 m^2 and 412 individual cracks. Results demonstrate a crack detection rate of 97% overall and 100% for cracks with a maximum width of more than 3 cm, significantly outperforming the state of the art. Furthermore, for cross-validation, PointCrack3D was applied to an entirely new dataset acquired in different locations and not used at all in training and shown to detect 100% of its crack instances. We also characterise the relationship between detection performance, crack width and number of points per crack, providing a foundation upon which to make decisions about both practical deployments and future research directions.

研究动机与目标

• 为解决在自然岩面和裸露矿井隧道等高度非结构化环境中缺乏稳健裂缝检测方法的问题。
• 开发一种自动化、适用于机器人部署的裂缝检测系统，以减少在地下采矿和土木基础设施中对危险人工巡检的依赖。
• 实现对裂缝实例（包括其位置、宽度和长度）的精确检测，以支持结构健康监测。
• 在包含自然岩壁的大规模真实世界数据集上验证该方法，并展示其在未见样本、样本外环境中的泛化能力。
• 量化检测性能、裂缝宽度以及每条裂缝的点数之间的关系，以支持实际部署决策。

提出的方法

• 采用自适应下采样技术，在保留裂缝区域高点密度的同时减少整体点云大小。
• 使用基于三维点云的深度神经网络（DNN）对每个点进行分类，判断其是否为裂缝点，依据几何特征和强度信息。
• 采用后处理聚类算法，参数设置为 $[\Delta_r, \Delta_n] = [0.05, 300]$，将分类后的裂缝点聚合成独立的裂缝实例。
• 在来自自然岩壁的大型彩色激光雷达点云数据集上训练 DNN，覆盖面积超过 900 m²，包含 412 条独立裂缝。
• 利用置信度阈值调节检测灵敏度，实现检测小裂缝与减少误报之间的权衡。
• 通过样本内测试和样本外交叉验证（使用训练过程中未使用的独立数据集）验证性能。

实验结果

研究问题

• RQ1 基于深度学习的方法能否在高度非结构化的自然岩面三维点云中实现高精度裂缝检测？
• RQ2 检测性能如何随裂缝宽度和每条裂缝的点数变化？
• RQ3 在未重新训练的情况下，于某一岩体环境训练的模型在不同、未见过的环境中泛化能力如何？
• RQ4 与均匀下采样相比，所提出的自适应下采样方法在多大程度上保留了裂缝检测的关键几何信息？
• RQ5 在实际部署中，调整置信度阈值时，检测召回率与精确率之间的权衡关系如何？

主要发现

• PointCrack3D 在 Kangaroo Point 数据集上实现了 97% 的整体裂缝检测率，对宽度超过 3 cm 的裂缝检测率达 100%。
• 该方法优于当前最先进的 MPFH 缺陷检测方法，后者在同一数据集上仅检测到 47% 宽度超过 3 cm 的裂缝。
• 将模型直接应用于新的、未见过的 Coolum 岩壁数据集时，无需微调即可检测到 100% 的裂缝实例。
• 与 Kangaroo Point 相比，模型在 Coolum 数据集上的召回率和特异性下降了 14%，主要由于裂缝点与非裂缝点比例存在差异。
• Coolum 数据集上的精确率提高了 20%，但归一化分析显示其性能相比预期得分下降了 18%，表明存在领域偏移效应。
• 检测性能与裂缝宽度及每条裂缝的点数密切相关，较小的裂缝和稀疏的点云会带来更大的检测挑战。