[论文解读] Pavementscapes: a large-scale hierarchical image dataset for asphalt pavement damage segmentation

Tong Zheng, Tao Ma+2 more|arXiv (Cornell University)|Jul 24, 2022

Infrastructure Maintenance and Monitoring被引用 5

一句话总结

本论文提出了Pavementscapes，一个大规模分层数据集，包含4,000张高分辨率（1024×2048）的沥青路面图像，共标注了8,680个损伤实例，涵盖六种类别的损伤，标注级别包括图像级、区块级和像素级。该研究评估了最先进的深度学习模型，结果表明基于注意力机制的网络优于卷积网络，并识别出关键挑战，包括小损伤分割、类别不平衡和模型过度自信问题，为未来路面损伤分割研究提供了基线和解决方案。

ABSTRACT

Pavement damage segmentation has benefited enormously from deep learning. % and large-scale datasets. However, few current public datasets limit the potential exploration of deep learning in the application of pavement damage segmentation. To address this problem, this study has proposed Pavementscapes, a large-scale dataset to develop and evaluate methods for pavement damage segmentation. Pavementscapes is comprised of 4,000 images with a resolution of $1024 imes 2048$, which have been recorded in the real-world pavement inspection projects with 15 different pavements. A total of 8,680 damage instances are manually labeled with six damage classes at the pixel level. The statistical study gives a thorough investigation and analysis of the proposed dataset. The numeral experiments propose the top-performing deep neural networks capable of segmenting pavement damages, which provides the baselines of the open challenge for pavement inspection. The experiment results also indicate the existing problems for damage segmentation using deep learning, and this study provides potential solutions.

研究动机与目标

• 为解决深度学习研究中缺乏大规模、公开可用的沥青路面损伤分割数据集的问题。
• 构建一个全面的、真实世界的数据集，包含多级标注（图像级、区块级、像素级）和多样化的视角，包括非典型视角。
• 基于所提出的数据集，为最先进的深度神经网络在路面损伤分割任务中的性能建立基线。
• 识别深度学习在路面损伤分割中持续存在的挑战，如小损伤检测、类别不平衡和模型过度自信。
• 为未来模型开发提供可操作的解决方案，包括注意力机制、基于形态学的损失函数以及不确定性感知网络。

提出的方法

• 数据集从中国15种不同类型的路面检测项目中收集，确保了真实世界的相关性和多样性。
• 每张图像均在三个层级进行标注：图像级（损伤类别的存在性）、区块级（边界框）和像素级（六种类别损伤的语义分割掩码）。
• 数据集包含非典型视角（如部分遮挡、杂乱背景场景），以反映真实检测的复杂性，并提升模型的鲁棒性。
• 在数据集上训练并评估了最先进的深度学习模型，包括卷积神经网络（CNNs）和基于注意力机制的架构。
• 评估了先进的损失函数，如Dice损失和焦点损失，以应对类别不平衡问题，特别是对裂缝等代表性不足类别的影响。
• 探索了基于Dempster-Shafer理论的不确定性感知网络，以减轻模型预测中的过度自信问题。

实验结果

研究问题

• RQ1 在大规模真实世界数据集上，基于注意力机制的深度神经网络在沥青路面损伤分割中的表现与传统CNN相比如何？
• RQ2 类别不平衡和小损伤实例在多大程度上阻碍了深度学习模型在路面损伤分割中的泛化能力？
• RQ3 基于形态学的损失函数（如Dice损失和焦点损失）能否有效提升在Pavementscapes这类类别不平衡数据集上的分割性能？
• RQ4 非典型视角（如部分遮挡、杂乱背景）如何影响深度学习模型的性能？能否使模型对这些变化具有更强的鲁棒性？
• RQ5 不确定性感知网络能否降低模型过度自信，从而提高路面损伤分割任务中的可靠性？

主要发现

• Pavementscapes数据集包含4,000张高分辨率（1024×2048）的路面图像，共标注8,680个损伤实例，涵盖六种类别损伤，并在三个详细层级上进行标注，是迄今为止最大且最全面的公开路面损伤分割数据集。
• 基于注意力机制的深度神经网络在该数据集上的表现优于标准卷积网络，表明其为未来路面损伤分割模型提供了有前景的新方向。
• 该数据集呈现出真实的损伤类型分布，包含大量非典型视角，增强了其在真实世界部署中的代表性与挑战性。
• 小损伤实例的准确分割仍然具有挑战，表明需要改进注意力机制或特征工程，以增强对细尺度缺陷的定位能力。
• 类别不平衡问题——特别是背景像素占主导地位且裂缝像素代表性不足——显著影响模型性能，而基于形态学的损失函数（如Dice损失和焦点损失）能有效缓解此问题。
• 深度神经网络在预测中表现出过度自信，尤其在罕见类别上；基于Dempster-Shafer理论的证据深度学习等不确定性感知框架有助于降低这种过度自信，提升模型校准能力。