[论文解读] Transient Neural Radiance Fields for Lidar View Synthesis and 3D Reconstruction

Anagh Malik, Parsa Mirdehghan+3 more|arXiv (Cornell University)|Jul 14, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种名为瞬态神经辐射场（Transient NeRF）的新方法，利用瞬态光子到达时间直方图，从单光子激光雷达数据中实现三维重建与视图合成。通过将飞行时间分布建模为神经辐射场，该方法能够在稀疏、信噪比低的激光雷达测量下实现高保真度的三维重建与新视角合成，在一个全新采集的360°数据集上取得了最先进性能，该数据集包含六个真实场景。

ABSTRACT

Neural radiance fields (NeRFs) have become a ubiquitous tool for modeling scene appearance and geometry from multiview imagery. Recent work has also begun to explore how to use additional supervision from lidar or depth sensor measurements in the NeRF framework. However, previous lidar-supervised NeRFs focus on rendering conventional camera imagery and use lidar-derived point cloud data as auxiliary supervision; thus, they fail to incorporate the underlying image formation model of the lidar. Here, we propose a novel method for rendering transient NeRFs that take as input the raw, time-resolved photon count histograms measured by a single-photon lidar system, and we seek to render such histograms from novel views. Different from conventional NeRFs, the approach relies on a time-resolved version of the volume rendering equation to render the lidar measurements and capture transient light transport phenomena at picosecond timescales. We evaluate our method on a first-of-its-kind dataset of simulated and captured transient multiview scans from a prototype single-photon lidar. Overall, our work brings NeRFs to a new dimension of imaging at transient timescales, newly enabling rendering of transient imagery from novel views. Additionally, we show that our approach recovers improved geometry and conventional appearance compared to point cloud-based supervision when training on few input viewpoints. Transient NeRFs may be especially useful for applications which seek to simulate raw lidar measurements for downstream tasks in autonomous driving, robotics, and remote sensing.

研究动机与目标

• 解决从稀疏、低信噪比的单光子激光雷达测量中重建高质量三维场景的挑战，且视点数量有限。
• 通过神经渲染技术，利用瞬态光子到达数据实现精确的新视角合成与深度估计。
• 开发一个使用自研单光子激光雷达系统扫描的全新360°数据集，包含六个真实世界场景。
• 通过将飞行时间分布建模为神经辐射场，提升重建保真度与视图合成质量。
• 通过校准的硬件原型，在多样化材质、纹理与几何结构下验证方法的鲁棒性。

提出的方法

• 构建一个自研单光子激光雷达系统，采用脉冲激光（532 nm，35 ps脉冲）、二维扫描镜和SPAD配合TCSPC技术，以8 ps分辨率在1500个时间槽内捕获光子到达时间戳。
• 通过在转台以18°增量旋转每个场景，获取六个真实世界场景的360°视图，每个场景总曝光时间为20分钟。
• 使用raxel模型和安装在平移平台上的标定板校准相机内参，通过亚像素角点精化与多项式拟合校正光学畸变。
• 通过两步法估计外参（旋转中心与轴）：首先在点云上粗略拟合平面，然后利用罗德里格斯旋转公式优化3D标定板角点对齐。
• 训练一个神经辐射场，从瞬态光子直方图中预测体密度与视角相关颜色，将飞行时间信息作为输入特征。
• 使用可微分渲染损失优化网络，最小化深度的L1损失以及用于新视角合成的感知损失（LPIPS、SSIM）

实验结果

研究问题

• RQ1 能否将单光子激光雷达的瞬态光子到达直方图有效建模为神经辐射场，以实现高保真度的三维重建与视图合成？
• RQ2 在真实世界激光雷达数据上，所提出的Transient NeRF方法相较于现有基于NeRF的方法，在视图合成质量与深度精度方面表现如何？
• RQ3 将瞬态飞行时间数据作为输入特征输入神经辐射场，对稀疏且低信噪比测量下的重建性能有何影响？
• RQ4 在视点采样有限的条件下，该方法在多样化场景几何结构、材质与纹理下的鲁棒性如何？
• RQ5 校准后的硬件系统与采集的数据集在瞬态激光雷达重建任务中，对泛化能力与基准测试的支持程度如何？

主要发现

• 所提出的Transient NeRF在全新采集的360°数据集上达到最先进性能，5视图下平均LPIPS为0.172，SSIM为0.872，显著优于Instant NGP、DS-NeRF与Urban NeRF基线方法。
• 在深度估计方面，该方法实现0.006 m（5视图）的平均L1深度误差，较次优基线（0.014 m）提升45%。
• 在'boots'场景中，该方法实现5视图SSIM为0.914，LPIPS为0.155，展现出在复杂纹理与镜面表面下的优异性能。
• 当仅使用2个视图时，该方法相比第二好的基线（Urban NeRF w/Mask）将L1深度误差降低超过50%，表明其在稀疏输入下具有强大泛化能力。
• 校准流程成功以亚毫米级精度估计出旋转中心与轴，实现了所有360°视图间的精确外参对齐。
• 该数据集以1500个时间槽、8 ps分辨率和18°视点间隔采集，支持高保真重建，并可作为未来瞬态激光雷达研究的基准。