[论文解读] Road Damage Detection and Classification with Detectron2 and Faster R-CNN

Vung Pham, Chau Pham+1 more|arXiv (Cornell University)|Oct 28, 2020

Infrastructure Maintenance and Monitoring参考文献 30被引用 9

一句话总结

本文提出在Global Road Damage Detection Challenge 2020数据集上使用Detectron2结合Faster R-CNN与X101-FPN主干网络进行道路损伤检测与分类。尽管在测试集上F1分数分别达到51.0%和51.4%，研究发现训练数据中存在显著的标注错误，并主张通过使用噪声学生技术的自监督学习方法改进数据整理，以提升模型在不同国家间的泛化能力。

ABSTRACT

The road is vital for many aspects of life, and road maintenance is crucial for human safety. One of the critical tasks to allow timely repair of road damages is to quickly and efficiently detect and classify them. This work details the strategies and experiments evaluated for these tasks. Specifically, we evaluate Detectron2's implementation of Faster R-CNN using different base models and configurations. We also experiment with these approaches using the Global Road Damage Detection Challenge 2020, A Track in the IEEE Big Data 2020 Big Data Cup Challenge dataset. The results show that the X101-FPN base model for Faster R-CNN with Detectron2's default configurations are efficient and general enough to be transferable to different countries in this challenge. This approach results in F1 scores of 51.0% and 51.4% for the test1 and test2 sets of the challenge, respectively. Though the visualizations show good prediction results, the F1 scores are low. Therefore, we also evaluate the prediction results against the existing annotations and discover some discrepancies. Thus, we also suggest strategies to improve the labeling process for this dataset.

研究动机与目标

• 评估最先进目标检测模型在跨国道路损伤检测与分类中的表现。
• 识别Global Road Damage Detection Challenge 2020数据集中存在的局限性，特别是标注不一致问题。
• 提出一种可扩展的人机协同数据标注策略，利用自监督学习提升数据集质量。
• 开发一种可迁移、通用的道路损伤检测模型，适用于多样化的地理区域。
• 评估数据质量对模型性能的影响，并建议改进标注流程。

提出的方法

• 采用Detectron2实现的Faster R-CNN，使用多种主干网络架构，包括ResNeXt-101-FPN。
• 使用Global Road Damage Detection Challenge 2020数据集进行模型训练，该数据集包含来自捷克、印度和日本的图像及边界框标注。
• 应用标准评估指标：基于精确率、召回率和0.5的IoU阈值进行边界框匹配的F1分数。
• 对模型预测结果进行定性分析，并与真实标注进行对比，以检测标注差异。
• 提出一种噪声学生自训练流程，为未标注数据生成高置信度伪标签，以提升数据效率。
• 建议改进的人工验证工作流，包括调整图像亮度和缩放以支持更准确的标签检查。

实验结果

研究问题

• RQ1 在Detectron2中，哪种Faster R-CNN主干网络及配置能够在不同国家的道路损伤检测中实现最稳健且泛化能力最强的性能？
• RQ2 训练集中标注错误如何影响深度学习模型在道路损伤检测中的表现？
• RQ3 自监督学习技术（如噪声学生方法）在多大程度上可以提升道路损伤标注的质量与可扩展性？
• RQ4 模型预测是否可被可靠地用于识别并纠正现有数据集中存在的标注错误？
• RQ5 对标注流程进行哪些改进可以减少人为错误并提高道路损伤图像标注的效率？

主要发现

• 使用Detectron2默认配置的X101-FPN主干网络在test1和test2上分别取得51.0%和51.4%的F1分数，表明性能中等但稳定。
• 尽管视觉预测表现良好，但F1分数偏低表明训练集中存在严重的真实标注问题。
• 识别出多个误标实例（如错误的坑洼边界框），表明标注流程中存在错误。
• 研究发现部分标签可能由模型生成且未经人工充分验证，提示自动化标注存在缺陷。
• 提出噪声学生自训练方法作为提升数据质量与模型泛化能力的可扩展解决方案。
• 作者建议对图像进行预处理（如调整亮度和缩放），以支持对伪标签数据进行更准确的人工验证。