[论文解读] READ: Large-Scale Neural Scene Rendering for Autonomous Driving

Zhuopeng Li, Lu Li+4 more|arXiv (Cornell University)|May 11, 2022

Computer Graphics and Visualization Techniques被引用 5

一句话总结

本文提出READ，一种面向自动驾驶的大规模神经场景渲染方法，通过使用$ω$-net网络对多尺度神经描述符进行过滤与融合，从稀疏点云中合成逼真的自由视角驾驶场景。该方法可在消费级硬件上实现高效、高保真度的渲染，支持场景编辑与拼接，并在KITTI及其他基准测试中实现了最先进的定性和定量性能表现。

ABSTRACT

Synthesizing free-view photo-realistic images is an important task in multimedia. With the development of advanced driver assistance systems~(ADAS) and their applications in autonomous vehicles, experimenting with different scenarios becomes a challenge. Although the photo-realistic street scenes can be synthesized by image-to-image translation methods, which cannot produce coherent scenes due to the lack of 3D information. In this paper, a large-scale neural rendering method is proposed to synthesize the autonomous driving scene~(READ), which makes it possible to synthesize large-scale driving scenarios on a PC through a variety of sampling schemes. In order to represent driving scenarios, we propose an ω rendering network to learn neural descriptors from sparse point clouds. Our model can not only synthesize realistic driving scenes but also stitch and edit driving scenes. Experiments show that our model performs well in large-scale driving scenarios.

研究动机与目标

• 为解决在自动驾驶模拟中，利用有限的3D输入数据生成连贯、大规模、逼真驾驶场景的挑战。
• 克服基于NeRF的方法在处理稀疏、不完整点云以及高计算成本的大规模室外场景时的局限性。
• 实现在消费级硬件（如两块RTX 2070显卡）上的高效、高质量神经渲染，无需依赖昂贵的多GPU配置。
• 支持实际应用，如场景编辑、拼接与全景视图合成，用于ADAS和自动驾驶训练。
• 减少真实驾驶场景中常见低能见度或遮挡区域的伪影，提升泛化能力。

提出的方法

• 提出一种$ω$-net架构，利用基础门控模块过滤无效的神经描述符，提升稀疏点云输入下的特征可靠性。
• 采用多尺度特征融合，通过整合不同感受野的特征，增强纹理细节并填补稀疏点云中的缺失区域。
• 引入基于块的采样策略，结合高效的蒙特卡洛采样，降低渲染过程中的计算与内存开销。
• 利用带有神经纹理的3D网格代理初始化场景，相比逐场景的NeRF优化，实现更快的收敛速度与更好的泛化能力。
• 应用可微分相机模型与色调映射器，提升空间梯度近似效果与渲染真实感。
• 通过共享神经描述符表示，对子场景分别训练渲染网络并进行融合，实现场景拼接。

实验结果

研究问题

• RQ1 神经渲染方法是否能在消费级硬件上，从稀疏点云中实现高保真、逼真的驾驶场景合成？
• RQ2 多尺度特征融合与基于门控的过滤在提升大规模室外场景渲染质量、减少伪影方面效果如何？
• RQ3 所提方法在自动驾驶模拟中支持场景编辑与拼接的程度如何？
• RQ4 在真实驾驶基准测试中，该方法与基于NeRF及图像到图像转换的方法相比，在PSNR、SSIM与LPIPS指标上的表现如何？
• RQ5 不同损失函数（L1、PSNR、VGG）对合成视图的感知质量与结构一致性有何影响？

主要发现

• 所提方法在KITTI Road数据集上实现了24.19的PSNR与0.7490的SSIM，两项指标均优于基线方法。
• 加入基础门控模块后，损失从572.1降至383.3，显著提升了PSNR并降低了LPIPS，表明无效描述符的过滤效果显著。
• 在同一尺度（Same）与不同尺度（Differ）下融合特征，使PSNR从22.29提升至24.29，SSIM从0.6883提升至0.7402，表明纹理与细节恢复能力增强。
• 结合L1、PSNR与VGG损失的组合实现了最高的SSIM（0.7490）与最低的LPIPS（0.1863），证明感知质量得到提升。
• 使用READ进行场景拼接后，SSIM从0.7242提升至0.7392，LPIPS从0.1755降至0.1625，验证了拼接框架的有效性。
• 该方法成功实现了全景视图合成与动态物体移除，展示了其在自动驾驶数据增强中的实际应用价值。