[论文解读] Real-Time Dense Stereo Embedded in A UAV for Road Inspection

Rui Fan, Jianhao Jiao+4 more|arXiv (Cornell University)|Apr 12, 2019

Remote Sensing and LiDAR Applications参考文献 29被引用 5

一句话总结

本文提出了一种嵌入在无人机上的实时密集立体视觉系统，用于自动化道路检测。通过应用透视变换以提高视差精度并降低计算负载，以及利用视差变换增强损伤可检测性，该系统在NVIDIA Jetson TX2 GPU上实现了49.231 Mde/s的实时性能，能够从变换后的视差图中清晰区分道路损伤。

ABSTRACT

The condition assessment of road surfaces is essential to ensure their serviceability while still providing maximum road traffic safety. This paper presents a robust stereo vision system embedded in an unmanned aerial vehicle (UAV). The perspective view of the target image is first transformed into the reference view, and this not only improves the disparity accuracy, but also reduces the algorithm's computational complexity. The cost volumes generated from stereo matching are then filtered using a bilateral filter. The latter has been proved to be a feasible solution for the functional minimisation problem in a fully connected Markov random field model. Finally, the disparity maps are transformed by minimising an energy function with respect to the roll angle and disparity projection model. This makes the damaged road areas more distinguishable from the road surface. The proposed system is implemented on an NVIDIA Jetson TX2 GPU with CUDA for real-time purposes. It is demonstrated through experiments that the damaged road areas can be easily distinguished from the transformed disparity maps.

研究动机与目标

• 开发一种用于无人机道路状况评估的实时嵌入式密集立体视觉系统。
• 在道路检测的立体匹配中，提高视差精度并降低计算复杂度。
• 通过几何变换增强视差图中道路损伤区域的可区分性。
• 实现在低功耗嵌入式平台（如Jetson TX2）上的实时处理，以支持无人机的实际部署。

提出的方法

• 将目标图像的透视视图转换为参考视图，以提高视差精度并降低计算复杂度。
• 从立体匹配生成代价体，并使用双边滤波器对代价体进行滤波，以在完全连接的马尔可夫随机场中求解能量最小化问题。
• 针对俯仰角和视差投影模型最小化能量函数，以变换视差图并增强损伤可见性。
• 使用迭代优化方法从视差图中估计俯仰角，收敛阈值为δψ = π/(1.8×10⁶) rad。
• 使用CUDA在NVIDIA Jetson TX2 GPU上实现系统，以获得实时性能。
• 使用自定义道路数据集和KITTI立体数据集评估视差变换与俯仰角估计。

实验结果

研究问题

• RQ1 在基于无人机的立体视觉道路检测中，透视变换是否能提高视差精度并降低计算复杂度？
• RQ2 视差变换在多大程度上能增强道路损伤与周围表面的可区分性？
• RQ3 在嵌入式GPU（如Jetson TX2）上，密集立体系统在无人机应用中可实现的实时性能如何？
• RQ4 能否从视差图中准确估计俯仰角以校正无人机姿态变化？
• RQ5 与现有立体算法相比，该方法在道路损伤检测的精度和计算效率方面表现如何？

主要发现

• 该系统在Jetson TX2 GPU上实现了49.231 Mde/s的处理速率，显著优于大多数在高性能显卡上运行的立体视觉系统。
• 在KITTI数据集上，经变换后的视差值平均标准差σd为0.519像素，相比未校正俯仰角效应时的0.861像素得到显著改善。
• 在已知俯仰角为零的合成数据集上测试时，俯仰角估计的平均误差约为0.012 rad。
• 视差变换算法成功使损坏的道路区域在视差图中与道路表面高度可区分，如在自定义数据集和KITTI数据集上的定性结果所示。
• 俯仰角估计的运行时间约为7.842 ms，视差变换每帧耗时约1.541 ms，均在Jetson TX2上完成。
• 透视变换在降低算法复杂度的同时提高了视差精度，从而实现在嵌入式硬件上的实时性能。