[论文解读] RSRD: A Road Surface Reconstruction Dataset and Benchmark for Safe and Comfortable Autonomous Driving

Tong Zhao, Chenfeng Xu+4 more|arXiv (Cornell University)|Oct 3, 2023

Advanced Vision and Imaging被引用 7

一句话总结

本文提出了RSRD，这是首个大规模、高分辨率、真实世界场景下的细粒度道路表面重建数据集，包含16,000对立体图像、密集点云以及在多种驾驶条件下采集的真实深度/视差图。基于RSRD，作者建立了单目深度估计与立体匹配的基准测试，揭示了在重建低纹理道路表面时面临的显著挑战，并以亚像素精度验证了最先进方法的有效性。

ABSTRACT

This paper addresses the growing demands for safety and comfort in intelligent robot systems, particularly autonomous vehicles, where road conditions play a pivotal role in overall driving performance. For example, reconstructing road surfaces helps to enhance the analysis and prediction of vehicle responses for motion planning and control systems. We introduce the Road Surface Reconstruction Dataset (RSRD), a real-world, high-resolution, and high-precision dataset collected with a specialized platform in diverse driving conditions. It covers common road types containing approximately 16,000 pairs of stereo images, original point clouds, and ground-truth depth/disparity maps, with accurate post-processing pipelines to ensure its quality. Based on RSRD, we further build a comprehensive benchmark for recovering road profiles through depth estimation and stereo matching. Preliminary evaluations with various state-of-the-art methods reveal the effectiveness of our dataset and the challenge of the task, underscoring substantial opportunities of RSRD as a valuable resource for advancing techniques, e.g., multi-view stereo towards safe autonomous driving. The dataset and demo videos are available at https://thu-rsxd.com/rsrd/

研究动机与目标

• 为解决自动驾驶中细粒度道路表面重建缺乏大规模、高精度数据集的问题。
• 通过精确预测轮胎-路面相互作用来提升车辆安全性和舒适性，实现对详细道路剖面的估计。
• 克服现有数据集的局限性，这些数据集通常存在分辨率低、标注稀疏以及场景多样性不足的问题。
• 为评估真实世界道路表面上的深度估计与立体匹配方法提供全面基准。
• 通过提供丰富、校准良好且具有高精度标签的数据集，支持未来在多视角立体视觉、点云处理与定位方面的研究。

提出的方法

• RSRD数据集通过配备校准立体摄像头与激光雷达的专用移动平台采集，覆盖多种道路类型的真实驾驶场景。
• 应用高精度后处理流程，从激光雷达点云生成密集且准确的真实深度与视差图。
• 数据集包含16,000对立体图像、融合点云以及投影点云可视化结果，数据被划分为密集与稀疏子集，以适配不同的训练范式。
• 通过在RSRD数据集上使用标准指标（如δ<1.25、Abs Rel、RMSE与EPE）评估最先进单目深度估计与立体匹配模型，建立了基准测试。
• 在稀疏子集上进行预训练可提升在密集子集上的性能，证明了弱监督学习中规模与多样性的价值。
• 从深度图计算表面法向图以可视化细微的道路不平整，因为深度变化较小且在视觉上不明显。

实验结果

研究问题

• RQ1 当前最先进深度估计模型在从立体图像重建细粒度道路表面轮廓方面的有效性如何？
• RQ2 道路表面的低纹理特性在多大程度上对立体匹配与单目深度估计算法构成挑战？
• RQ3 在大规模稀疏子集上进行预训练是否能提升在密集高精度子集上的道路表面重建性能？
• RQ4 考虑到纹理分辨率变化与透视效应的影响，模型在近处与远处道路表面的表现差异如何？
• RQ5 先进方法如NeRF与多视角立体视觉（MVS）在提升道路表面重建精度方面具有多大潜力？

主要发现

• RSRD数据集包含16,000对校准的立体图像，附带高精度真实深度与视差图，覆盖多样的真实道路条件。
• 使用LapDepth的单目深度估计在密集子集上达到δ<1.25得分为0.998，且在近距离表现显著优于远距离。
• 在RSRD-稀疏子集上进行预训练可提升深度估计性能，达到δ<1.25为0.999，RMSE为0.184，优于仅在密集子集上训练的结果。
• 立体匹配方法实现了亚像素精度，最佳模型（CFNet）的EPE为0.333像素，且误差超过3像素的像素比例低于0.063%。
• 0.333像素的视差误差对应于5米距离处约4厘米的深度误差，表明其精度足以满足车辆控制应用需求。
• 远距离性能下降归因于纹理分辨率较低与透视效应，凸显了对几何感知模型的需求。