[论文解读] ProSGNeRF: Progressive Dynamic Neural Scene Graph with Frequency Modulated Foundation Model in Urban Scenes

Tianchen Deng, Wang, Yanbo+6 more|arXiv (Cornell University)|Dec 14, 2023

Advanced Vision and Imaging被引用 7

一句话总结

ProSGNeRF 提出了一种具有频率调制自编码器的渐进式动态神经场景图，以实现在具有高速移动车辆和稀疏视角的大规模城市场景中的高保真新视角合成。通过在时间窗口内动态分配局部场景图并使用频率感知潜在编码，该方法在 KITTI 和 VKITTI 数据集上的视角合成、物体操作和场景漫游任务中均达到了最先进性能。

ABSTRACT

Implicit neural representation has demonstrated promising results in 3D reconstruction on various scenes. However, existing approaches either struggle to model fast-moving objects or are incapable of handling large-scale camera ego-motions in urban environments. This leads to low-quality synthesized views of the large-scale urban scenes. In this paper, we aim to jointly solve the problems caused by large-scale scenes and fast-moving vehicles, which are more practical and challenging. To this end, we propose a progressive scene graph network architecture to learn the local scene representations of dynamic objects and global urban scenes. The progressive learning architecture dynamically allocates a new local scene graph trained on frames within a temporal window, with the window size automatically determined, allowing us to scale up the representation to arbitrarily large scenes. Besides, according to our observations, the training views of dynamic objects are relatively sparse according to rapid movements, which leads to a significant decline in reconstruction accuracy for dynamic objects. Therefore, we utilize a foundation model network to encode the latent code. Specifically, we leverage the generalization capability of the visual foundation model DINOv2 to extract appearance and shape codes, and train the network on a large-scale urban scene object dataset to enhance its prior modeling ability for handling sparse-view dynamic inputs. In parallel, we introduce a frequency-modulated module that regularizes the frequency spectrum of objects, thereby addressing the challenge of modeling sparse image inputs from a frequency-domain perspective. Experimental results demonstrate that our method achieves state-of-the-art view synthesis accuracy, object manipulation, and scene roaming ability in various scenes.

研究动机与目标

• 解决在具有多个高速移动物体和显著相机自运动的大规模城市场景中的视角合成挑战。
• 提升在真实世界城市数据集中常见的稀疏视角观测下动态物体的重建精度。
• 通过利用可提示分割（如 SAM）实现自动物体和远场区域掩码生成，降低对人工标注掩码的依赖。
• 通过激光雷达点云投影监督，保持大规模场景中的几何一致性。
• 在无需此类配置的观测训练数据的情况下，支持灵活的场景编辑，包括物体操作和新型场景图构建。

提出的方法

• 该方法采用一种神经场景图，将场景分解为背景、动态物体和远场组件，每个部分均使用专用神经网络进行表示。
• 采用渐进式方案，在时间窗口内动态实例化并维护局部场景图，从而实现对任意大规模场景的可扩展性。
• 频率自编码器网络对动态物体的形状和外观特征进行编码，并通过频率调制对稀疏视角输入下的潜在表示进行正则化。
• 系统使用 Segment Anything Model (SAM) 实现零样本、基于提示的实例分割，以生成动态物体和远场区域的精确掩码，从而减轻标注负担。
• 利用激光雷达点云投影对几何一致性进行监督，确保在大规模城市场景中实现精确的空间对齐。
• 采用多组件损失函数，包括深度损失和 KL 散度损失，以提升几何精度和潜在空间正则化。

实验结果

研究问题

• RQ1 渐进式神经场景图架构是否能有效扩展至具有复杂相机自运动和多个动态物体的大规模城市场景？
• RQ2 在稀疏视角观测下，如何增强动态城市物体的隐式神经表示？
• RQ3 基于提示的分割模型（如 SAM）在多大程度上可减少动态场景重建中对人工标注的需求？
• RQ4 潜在空间中的频率调制是否能改善在有限训练视图下动态物体的表示？
• RQ5 所提方法是否能支持灵活的场景编辑，如新型物体姿态操作和场景图构建，而不仅限于训练数据中的配置？

主要发现

• 完整版 ProSGNeRF 模型在 KITTI tracking 0006 序列上实现了 30.31 的 PSNR、0.891 的 SSIM 和 0.055 的 LPIPS，优于先前方法。
• 移除渐进式场景图后，PSNR 显著下降至 27.21，证明其在处理大规模自运动中的关键作用。
• 将频率自编码器替换为标准 MLP 后，PSNR 降低至 28.32，证实其在处理动态物体稀疏视图中的有效性。
• 省略深度损失或 KL 散度损失会导致性能下降（PSNR 分别为 28.93 和 29.45），表明二者对几何精度的重要性。
• 该方法能够实现训练期间未见的物体排列和旋转的新视角合成，展示了强大的泛化能力和编辑能力。
• 在 VKITTI 数据集上，ProSGNeRF 实现了最先进图像重建精度，PSNR 为 0.372，LPIPS 为 0.088，优于同期方法。