[论文解读] Road Damage Detection And Classification In Smartphone Captured Images Using Mask R-CNN

Janpreet Singh, Shashank Shekhar|arXiv (Cornell University)|Nov 11, 2018

Infrastructure Maintenance and Monitoring被引用 15

一句话总结

该论文提出使用Mask R-CNN实现智能手机拍摄图像中道路损伤的端到端检测与分类，通过实例分割和目标检测技术，在真实场景条件下实现高精度检测。在NVIDIA GeForce RTX 1080Ti上，模型在50%交并比（IoU）下的平均F1得分为0.528，单张图像平均推理时间为0.105秒。

ABSTRACT

This paper summarizes the design, experiments and results of our solution to the Road Damage Detection and Classification Challenge held as part of the 2018 IEEE International Conference On Big Data Cup. Automatic detection and classification of damage in roads is an essential problem for multiple applications like maintenance and autonomous driving. We demonstrate that convolutional neural net based instance detection and classfication approaches can be used to solve this problem. In particular we show that Mask-RCNN, one of the state-of-the-art algorithms for object detection, localization and instance segmentation of natural images, can be used to perform this task in a fast manner with effective results. We achieve a mean F1 score of 0.528 at an IoU of 50% on the task of detection and classification of different types of damages in real-world road images acquired using a smartphone camera and our average inference time for each image is 0.105 seconds on an NVIDIA GeForce 1080Ti graphic card. The code and saved models for our approach can be found here : https://github.com/sshkhr/BigDataCup18 Submission

研究动机与目标

• 解决在真实世界智能手机拍摄图像中检测和分类多种道路损伤类型的挑战。
• 克服道路图像中光照、天气条件变化以及损伤类型重叠带来的困难。
• 展示Mask R-CNN在低资源、真实世界数据集上进行实例级别检测与分类的有效性。
• 实现适合在消费级GPU上部署的高推理速度。
• 在IEEE BigData 2018竞赛的基准数据集上，使用标准化指标评估模型性能。

提出的方法

• 使用ResNet-101-FPN主干网络，在MS-COCO数据集上微调预训练的Mask R-CNN模型，用于道路损伤检测。
• 由于数据集规模有限，通过水平翻转进行数据增强，以提升训练数据的多样性。
• 通过使用ImageNet预训练权重初始化模型，应用迁移学习以提升收敛速度和性能。
• 采用两阶段学习率调度策略进行优化：初始学习率为0.001，每2个周期衰减10倍。
• 应用非极大值抑制（NMS），IoU阈值设为0.85，以消除同一类别的冗余检测结果。
• 使用50% IoU下的平均F1得分评估端到端性能，匹配标准定义为类别一致且IoU > 0.5。

实验结果

研究问题

• RQ1 Mask R-CNN能否在光照和视角多变的智能手机拍摄图像中有效检测并分类多种道路损伤？
• RQ2 数据增强和迁移学习在小规模真实世界道路损伤数据集上如何提升模型性能？
• RQ3 Mask R-CNN在消费级GPU上的推理速度如何，是否适合实时部署？
• RQ4 在本数据集中，预先使用DeepLabV3或U-Net进行道路分割是否能提升检测性能？
• RQ5 模型在重叠或紧密相邻的损伤实例上表现如何？

主要发现

• 所提出的Mask R-CNN模型在测试集上于50% IoU下的平均F1得分为0.528，表现出优异的检测与分类性能。
• 在NVIDIA GeForce RTX 1080Ti上，单张图像的平均推理时间为0.105秒，表明其适用于实时应用。
• 在RTX 1080Ti上处理1,813张测试图像的总推理时间为3分钟11秒，在GTX 1050Ti上为8分钟38秒。
• 使用DeepLabV3或U-Net进行道路分割的两阶段方法未提升性能，原因在于CamVid数据集与目标数据集之间存在显著领域差异。
• 每2个周期将学习率衰减10倍的衰减策略在所有测试配置中表现最佳。
• 采用IoU阈值为0.85的后处理策略能有效减少冗余检测，且未降低整体准确率。