[论文解读] NerfBridge: Bringing Real-time, Online Neural Radiance Field Training to Robotics

Javier Yu, Jun En Low+2 more|arXiv (Cornell University)|May 16, 2023

CCD and CMOS Imaging Sensors被引用 5

一句话总结

NerfBridge 通过将 ROS 与 Nerfstudio 库集成，实现了机器人领域中实时、在线神经辐射场（NeRF）训练，使能从流式相机数据中持续优化 NeRF。在飞行过程中实现了近乎实时的 NeRF 更新，已在室内和室外无人直升机任务中得到验证，质量提升在数分钟内即可观测到。

ABSTRACT

This work was presented at the IEEE International Conference on Robotics and Automation 2023 Workshop on Unconventional Spatial Representations. Neural radiance fields (NeRFs) are a class of implicit scene representations that model 3D environments from color images. NeRFs are expressive, and can model the complex and multi-scale geometry of real world environments, which potentially makes them a powerful tool for robotics applications. Modern NeRF training libraries can generate a photo-realistic NeRF from a static data set in just a few seconds, but are designed for offline use and require a slow pose optimization pre-computation step. In this work we propose NerfBridge, an open-source bridge between the Robot Operating System (ROS) and the popular Nerfstudio library for real-time, online training of NeRFs from a stream of images. NerfBridge enables rapid development of research on applications of NeRFs in robotics by providing an extensible interface to the efficient training pipelines and model libraries provided by Nerfstudio. As an example use case we outline a hardware setup that can be used NerfBridge to train a NeRF from images captured by a camera mounted to a quadrotor in both indoor and outdoor environments. For accompanying video https://youtu.be/EH0SLn-RcDg and code https://github.com/javieryu/nerf_bridge.

研究动机与目标

• 通过克服离线 NeRF 训练流水线的局限性，实现在机器人应用中的实时、在线 NeRF 训练。
• 将 Nerfstudio 的先进 NeRF 训练技术与机器人操作系统（ROS）集成，实现机器人部署的无缝衔接。
• 在机器人运行过程中，支持从流式相机和位姿数据中进行动态、连续的场景表征学习。
• 通过允许操作员实时评估地图质量，促进 NeRF 驱动的机器人应用中的快速原型设计与反馈。
• 提供一个模块化、可扩展的软件桥接工具，使研究人员能够集成自定义的 NeRF 架构和位姿估计方法。

提出的方法

• 部署一个 ROS 节点，订阅来自机载传感器的 RGB 图像和相机位姿的独立话题。
• 维护预分配的图像和位姿缓冲区，持续从机器人的传感器流中摄入新数据。
• 与 Nerfstudio 的训练流水线集成，利用流入的数据池执行持续、增量式的 NeRF 训练。
• 采用子采样策略（例如 2 Hz）以管理计算负载，同时保持训练数据的时间多样性。
• 利用 ORBSLAM3 实现实时视觉里程计，以估计相机位姿，该方法兼容 ROS，作为 NerfBridge 的输入。
• 使用配备高性能 GPU 的地面站并行运行 NeRF 训练、位姿估计和监控任务。

Figure 1: A basic outline of the functionality of the NerfBridge Package for integrating streaming images with real-time NeRF training.

实验结果

研究问题

• RQ1 能否通过标准机器人中间件（如 ROS）有效集成在线 NeRF 训练到实时机器人流水线中？
• RQ2 在动态环境中，移动机器人持续摄入数据时，NeRF 地图的质量如何演变？
• RQ3 数据冗余性和时间采样率对飞行过程中 NeRF 收敛性和重建保真度有何影响？
• RQ4 实时 NeRF 反馈能否提升机器人测绘任务中的任务规划与操作员决策能力？
• RQ5 基于信息的关键帧策略如何影响在线设置下的 NeRF 训练稳定性，并避免灾难性遗忘？

主要发现

• NerfBridge 实现了从流式数据中实时训练 NeRF，飞行约一分钟内即可观测到地图质量的显著提升。
• 飞行约一分钟后，新增图像带来的改进微乎其微，表明 NeRF 质量已趋于收敛，存在数据冗余。
• 该系统成功重建了室内和室外场景，包括建筑立面、窗户和光照细节等复杂多尺度结构。
• 在约 2.5 分钟的室内飞行中采集的 300 张图像数据集，生成了泡沫柱及其周围房间特征的高保真 NeRF 地图。
• 在斯坦福大学 Elliot 中心的室外测绘实验表明，系统在自然光照和复杂纹理条件下表现出色，准确重建了建筑细节。
• 通过集成 ORBSLAM3 进行位姿估计和 Nerfstudio 进行 NeRF 训练，实现了低延迟、连续的地图优化，适用于实时反馈。

Figure 2: The reconstruction of the NeRF generated overtime from flying a helical trajectory around a foam box and pipes using NerfBridge.