[论文解读] Real-Time Subpixel Fast Bilateral Stereo

Rui Fan, Yanan Liu+3 more|arXiv (Cornell University)|Jul 5, 2018

Advanced Vision and Imaging参考文献 21被引用 7

一句话总结

该论文提出了一种在NVIDIA GTX 1080 GPU上通过优化代价计算并利用并行GPU架构加速的实时亚像素快速双边立体匹配算法。在Middlebury数据集上，当ρ=6时达到344.16 Mde/s的性能，通过自适应双边滤波和亚像素精化在保持高精度的同时实现了实时性能。

ABSTRACT

Stereo vision technique has been widely used in robotic systems to acquire 3-D information. In recent years, many researchers have applied bilateral filtering in stereo vision to adaptively aggregate the matching costs. This has greatly improved the accuracy of the estimated disparity maps. However, the process of filtering the whole cost volume is very time consuming and therefore the researchers have to resort to some powerful hardware for the real-time purpose. This paper presents the implementation of fast bilateral stereo on a state-of-the-art GPU. By highly exploiting the parallel computing architecture of the GPU, the fast bilateral stereo performs in real time when processing the Middlebury stereo datasets.

研究动机与目标

• 通过在不牺牲视差图质量的前提下实现实时性能，解决立体匹配中精度与速度之间的权衡问题。
• 利用GPU并行性优化代价体中计算密集型的双边滤波步骤。
• 通过将相关代价存储在两个3D体中，实现左右视差的并行估计，从而降低计算负载。
• 通过初始视差估计周围的抛物线插值实现亚像素精度。
• 评估不同滤波参数下精度与速度之间的性能权衡。

提出的方法

• 通过预先计算并存储在静态内存中的均值和标准差值，将归一化互相关（NCC）代价函数简化为点积，实现快速索引。
• 将左右视差的代价体同时存储在两个3D数组中，使双边滤波过程中的计算量减少约50%。
• 通过依赖空间差异和强度差异的高斯加权函数，对左右代价体进行自适应代价聚合。
• 在滤波后的代价体上使用Winner-Take-All（WTA）方法计算视差图，为每个像素选择最小代价视差。
• 通过初始视差值周围的抛物线插值实现亚像素精化，以提升超过整像素精度的分辨率。
• 实现完全并行化于GPU，充分利用其架构加速所有像素和视差范围的滤波与计算。

实验结果

研究问题

• RQ1 能否在消费级GPU硬件上实现快速双边立体匹配的实时加速？
• RQ2 滤波参数（ωd, ωr, ρ）的选择如何影响立体匹配系统的精度与速度？
• RQ3 在代价体上使用双边滤波时，精度与处理速度之间的最佳平衡点是什么？
• RQ4 通过为左右视差估计同时存储在双3D代价体中，能在多大程度上减少计算冗余？
• RQ5 在WTA之后，能否通过GPU加速插值实现实时的亚像素精度？

主要发现

• 所提出的实现方法在Middlebury 'Cones'数据集上，当ρ=6时达到344.16百万次视差评估每秒（Mde/s），实现了实时性能。
• ρ=6是精度-速度权衡的最佳参数设置，因为ρ=7虽略提高精度但运行时间翻倍。
• 误差像素百分比（ePEP）随ρ增加至8而下降，之后略有上升，表明存在性能饱和点。
• 使用双3D代价体将左右视差图估计的计算量减少了约50%。
• 通过抛物线插值实现亚像素精度，使视差分辨率超越整像素精度。
• 随着聚合窗口大小（ρ）增大，运行时间增加，证实更大的滤波器虽然精度更高，但计算成本也更高。