[论文解读] Road Damages Detection and Classification with YOLOv7

Vung Pham, Van-Du Nguyen+1 more|arXiv (Cornell University)|Oct 31, 2022

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

该论文提出了一种基于 YOLOv7 与坐标注意力机制及标签平滑技术的高效道路损伤检测与分类系统，训练数据来自 Google Street View 收集的道路图像。在 U.S. 测试数据上，该系统取得了 81.7% 的 F1 分数，在 CRDDC2022 挑战赛中排名第三，展示了其在自动化基础设施监测中具备高精度与可扩展性的潜力。

ABSTRACT

Maintaining the roadway infrastructure is one of the essential factors in enabling a safe, economic, and sustainable transportation system. Manual roadway damage data collection is laborious and unsafe for humans to perform. This area is poised to benefit from the rapid advance and diffusion of artificial intelligence technologies. Specifically, deep learning advancements enable the detection of road damages automatically from the collected road images. This work proposes to collect and label road damage data using Google Street View and use YOLOv7 (You Only Look Once version 7) together with coordinate attention and related accuracy fine-tuning techniques such as label smoothing and ensemble method to train deep learning models for automatic road damage detection and classification. The proposed approaches are applied to the Crowdsensing-based Road Damage Detection Challenge (CRDDC2022), IEEE BigData 2022. The results show that the data collection from Google Street View is efficient, and the proposed deep learning approach results in F1 scores of 81.7% on the road damage data collected from the United States using Google Street View and 74.1% on all test images of this dataset.

研究动机与目标

• 开发一种高效、自动化的道路损伤数据收集与标注流程，利用 Google Street View 进行数据采集。
• 通过最先进的 YOLOv7 模型结合注意力机制与超参数调优，提升道路损伤分类的对象检测精度。
• 在 CRDDC2022 基准数据集上应用并评估所提出的模型，以实现真实世界性能的评估。
• 通过数据增强、标签平滑与集成学习技术提升检测的鲁棒性。
• 公开提供数据集与模型代码，以支持未来在自动化道路状况监测领域的研究。

提出的方法

• 通过系统化的数据采集流程，从 Google Street View 收集道路图像，实现全球覆盖与频繁更新。
• 采用 YOLOv7 作为基础目标检测模型，利用其在实时推理中的速度与精度优势。
• 集成坐标注意力模块，以增强空间特征表示，提升定位精度。
• 采用标签平滑与数据增强技术，减少过拟合并提升泛化能力。
• 通过组合多个 YOLOv7 模型实施集成学习，提升预测可靠性与 F1 分数。
• 使用验证集上的 mAP@0.5 对超参数进行微调，并在测试集上使用 F1 分数评估最终模型。

实验结果

研究问题

• RQ1 能否有效利用 Google Street View 收集并标注大规模、多样化的道路损伤图像，用于深度学习模型的训练？
• RQ2 将坐标注意力机制集成到 YOLOv7 中，对道路损伤分类的检测精度有何提升作用？
• RQ3 标签平滑与集成方法在多大程度上增强了 YOLOv7 在道路损伤检测中的鲁棒性与 F1 分数？
• RQ4 所提出的模型在不同地理区域（具有不同道路损伤类型与图像质量）中的表现如何？
• RQ5 该方法能否在真实世界基准测试（如 CRDDC2022）中达到最先进水平？

主要发现

• 所提出的基于 Google Street View 的数据采集方法证明了高效性与可扩展性，能够从全球多样化的地点获取大量最新道路图像。
• 采用坐标注意力机制的 YOLOv7 模型在 U.S. 测试集上取得了 81.7% 的 F1 分数，显示出在纵向损伤与常见损伤类型上的强大性能。
• 该模型在整体数据集上的测试 F1 分数为 74.1%，在 CRDDC2022 挑战赛中位列 51 支队伍中的第 3 名。
• 在 U.S. 与日本测试集中表现最佳，这与训练图像可用性更高、损伤类型更易区分密切相关。
• 标签平滑与集成技术的使用显著提升了模型的泛化能力与鲁棒性，尤其在印度与挪威等低数据区域表现突出。
• 尽管存在计算资源限制，该方法表明，即使使用标准 YOLOv7 配置，也能实现高精度，而使用更重的变体（如 YOLOv7-X 或 YOLOv7-E6）有望进一步提升性能。