[论文解读] Real-Time Stereo Vision for Road Surface 3-D Reconstruction

Rui Fan, Yanan Liu+4 more|arXiv (Cornell University)|Jul 18, 2018

Advanced Vision and Imaging参考文献 18被引用 4

一句话总结

本文提出了一种基于透视变换与快速双边立体匹配（FBS）在NVIDIA GTX 1080 GPU上的实时立体视觉系统，用于三维道路表面重建。通过将目标图像变换以对齐参考视图，该方法提升了视差精度与处理速度，在25 fps下实现了3 mm重建精度的亚像素视差图。

ABSTRACT

Stereo vision techniques have been widely used in civil engineering to acquire 3-D road data. The two important factors of stereo vision are accuracy and speed. However, it is very challenging to achieve both of them simultaneously and therefore the main aim of developing a stereo vision system is to improve the trade-off between these two factors. In this paper, we present a real-time stereo vision system used for road surface 3-D reconstruction. The proposed system is developed from our previously published 3-D reconstruction algorithm where the perspective view of the target image is first transformed into the reference view, which not only increases the disparity accuracy but also improves the processing speed. Then, the correlation cost between each pair of blocks is computed and stored in two 3-D cost volumes. To adaptively aggregate the matching costs from neighbourhood systems, bilateral filtering is performed on the cost volumes. This greatly reduces the ambiguities during stereo matching and further improves the precision of the estimated disparities. Finally, the subpixel resolution is achieved by conducting a parabola interpolation and the subpixel disparity map is used to reconstruct the 3-D road surface. The proposed algorithm is implemented on an NVIDIA GTX 1080 GPU for the real-time purpose. The experimental results illustrate that the reconstruction accuracy is around 3 mm.

研究动机与目标

• 开发一种实时立体视觉系统，用于三维道路表面重建，兼顾精度与速度。
• 通过在匹配前将目标图像的透视视图与参考视图对齐，提升视差估计精度。
• 通过在代价体积上应用自适应双边滤波，加速处理并减少立体匹配中的歧义。
• 通过抛物线插值实现亚像素视差分辨率，以实现高精度三维重建。
• 在GPU上实现该算法，以实现实时性能，适用于现场应用。

提出的方法

• 通过透视变换将目标图像变换，使其与参考图像对齐，从而提高图像相似性并提升匹配精度。
• 使用归一化互相关（NCC）计算图像块之间的初始互相关代价，形成两个三维代价体积。
• 对代价体积应用双边滤波，以自适应聚合匹配代价，减少歧义并提高视差精度。
• 通过在代价优化的视差图上进行抛物线插值，实现亚像素视差分辨率。
• 使用校准后的立体几何关系，通过三角测量法利用最终视差图重建三维道路表面。
• 在NVIDIA GTX 1080 GPU上实现该算法，以实现25 fps的实时处理性能。

实验结果

研究问题

• RQ1 在道路表面重建中，立体图像之间的透视变换是否能提升视差估计精度与处理速度？
• RQ2 在实时系统中，对代价体积应用双边滤波如何提升立体匹配的精度？
• RQ3 在GPU加速的立体视觉处理流水线中，重建精度与处理速度之间的可实现权衡是什么？
• RQ4 亚像素视差估计是否能显著提升道路基础设施评估中的三维表面重建精度？
• RQ5 在固定相机基线与有限深度分辨率的现实户外条件下，该系统性能如何？

主要发现

• 所提出的系统实现了约3 mm的重建精度，经由3D打印样品模型验证。
• 该算法在NVIDIA GTX 1080 GPU上以25帧每秒的速度处理立体图像，实现了实时性能。
• 当参数ϱ=3且ρ=4时，实现566.37 Mde/s的处理速度。
• 运行时间随ϱ和ρ值的增加而增加，当ρ从2增至4时，处理时间增加约2倍。
• 透视变换显著提升了匹配质量，通过提高参考视图与目标视图之间的图像相似性。
• 在代价体积上使用双边滤波能有效减少匹配歧义并提升视差图的精度。