[论文解读] Rethinking Road Surface 3D Reconstruction and Pothole Detection: From Perspective Transformation to Disparity Map Segmentation

Rui Fan, Umar Ozgunalp+3 more|arXiv (Cornell University)|Dec 19, 2020

Infrastructure Maintenance and Monitoring参考文献 55被引用 5

一句话总结

该论文提出了一种基于立体视觉的坑洼检测系统，通过将透视变换推广至包含立体相机装置滚转角，提升了三维道路表面重建效果，随后进行视差图变换和基于SLIC的超像素分割。该方法在RTX 2080 Ti GPU上实现加速处理，实现了99.6%的像素级准确率和89.4%的F1值。

ABSTRACT

Potholes are one of the most common forms of road damage, which can severely affect driving comfort, road safety and vehicle condition. Pothole detection is typically performed by either structural engineers or certified inspectors. This task is, however, not only hazardous for the personnel but also extremely time-consuming. This paper presents an efficient pothole detection algorithm based on road disparity map estimation and segmentation. We first generalize the perspective transformation by incorporating the stereo rig roll angle. The road disparities are then estimated using semi-global matching. A disparity map transformation algorithm is then performed to better distinguish the damaged road areas. Finally, we utilize simple linear iterative clustering to group the transformed disparities into a collection of superpixels. The potholes are then detected by finding the superpixels, whose values are lower than an adaptively determined threshold. The proposed algorithm is implemented on an NVIDIA RTX 2080 Ti GPU in CUDA. The experiments demonstrate the accuracy and efficiency of our proposed road pothole detection algorithm, where an accuracy of 99.6% and an F-score of 89.4% are achieved.

研究动机与目标

• 开发一种自动化、客观且高效的坑洼检测系统，以减少对人工检查的依赖。
• 通过将立体相机装置滚转角纳入透视变换，提升道路表面三维重建的准确性。
• 通过一种新型变换算法对视差图进行变换，增强坑洼与完好路面区域的可区分性。
• 通过超像素分割与自适应阈值法检测坑洼，且无需依赖标注训练数据。
• 在新构建的基于立体视觉的坑洼检测数据集上进行性能评估，该数据集包含二维与三维几何的真值信息。

提出的方法

• 通过引入立体相机装置滚转角，推广透视变换，以提升道路表面建模的参数估计精度。
• 在立体图像对上使用半全局匹配（SGM）算法估计道路视差，生成视差图。
• 应用视差图变换（DT）算法，增强损坏区域与完好路面区域之间的对比度。
• 使用简单线性迭代聚类（SLIC）将变换后的视差值聚类为超像素，以保持空间一致性。
• 通过识别低于由k-means聚类确定的自适应阈值的超像素来检测坑洼。
• 在CUDA中实现完整处理流水线，实现在NVIDIA RTX 2080 Ti GPU上的实时性能。

实验结果

研究问题

• RQ1 在透视变换中引入立体相机装置滚转角是否能提升道路表面三维重建的准确性？
• RQ2 视差图变换是否能增强坑洼与完好路面区域之间的可区分性？
• RQ3 基于超像素的分割结合自适应阈值法是否在坑洼检测中优于传统二维图像分割方法？
• RQ4 与现有的基于深度学习和计算机视觉的坑洼检测系统相比，该方法在准确率与效率方面表现如何？
• RQ5 与深度神经网络相比，该方法在缺乏标注训练数据的情况下性能下降程度如何？

主要发现

• 所提方法在测试数据集上实现了99.6%的像素级准确率与89.4%的F1值。
• 系统可实时运行，视差图变换与坑洼检测的总处理时间在RTX 2080 Ti GPU上约为3.5毫秒。
• 视差图变换（DT）步骤显著提升了特征的可区分性，使坑洼更易于与周围路面区域区分。
• 尽管未使用任何标注训练数据，该方法在准确率与F1值上均优于所有对比的深度卷积神经网络（FCN、SegNet、U-Net、DeepLabv3+）。
• 将变换后的视差图作为深度置信网络（DCNN）的输入，其性能优于原始视差图或RGB图像，证实了DT的特征信息量优势。
• 作者发布了三个新的基于立体视觉的坑洼数据集，包含像素级与三维几何真值，以支持未来在自动化道路状况评估方面的研究。