[论文解读] NaRPA: Navigation and Rendering Pipeline for Astronautics

Roshan T. Eapen, Ramchander Rao Bhaskara+1 more|arXiv (Cornell University)|Nov 3, 2022

Satellite Image Processing and Photogrammetry被引用 4

一句话总结

NaRPA 是一种基于光线追踪的航空航天仿真物理引擎，可模拟全局光照、大气效应以及图像、深度图和点云等传感器输出。它实现了面向视觉导航的高保真、可微分渲染，在国际空间站对接仿真中展示了通过立体三角测量和基于梯度的优化实现的高保真三维位姿估计。

ABSTRACT

This paper presents Navigation and Rendering Pipeline for Astronautics (NaRPA) - a novel ray-tracing-based computer graphics engine to model and simulate light transport for space-borne imaging. NaRPA incorporates lighting models with attention to atmospheric and shading effects for the synthesis of space-to-space and ground-to-space virtual observations. In addition to image rendering, the engine also possesses point cloud, depth, and contour map generation capabilities to simulate passive and active vision-based sensors and to facilitate the designing, testing, or verification of visual navigation algorithms. Physically based rendering capabilities of NaRPA and the efficacy of the proposed rendering algorithm are demonstrated using applications in representative space-based environments. A key demonstration includes NaRPA as a tool for generating stereo imagery and application in 3D coordinate estimation using triangulation. Another prominent application of NaRPA includes a novel differentiable rendering approach for image-based attitude estimation is proposed to highlight the efficacy of the NaRPA engine for simulating vision-based navigation and guidance operations.

研究动机与目标

• 开发一个用于空间成像与导航的物理上准确的光线追踪仿真平台。
• 解决因光照建模不准确而导致的光流和基于视觉的导航的局限性。
• 实现具有大气和阴影效应的空间对空间及地面对空间观测的高保真仿真。
• 通过合成传感器数据支持视觉导航算法的设计、测试与验证。
• 实现可微分渲染，以实现从二维图像端到端优化三维位姿估计。

提出的方法

• NaRPA 采用基于渲染方程的光线追踪流水线，用于模拟空间环境中全局光照与光传输。
• 引入大气散射模型，包括瑞利散射和米氏散射，以模拟光照传播中的昼夜变化与气溶胶浊度效应。
• 该框架生成多模态传感器输出：逼真的图像、深度图、轮廓图以及基于三维场景几何的点云。
• 可微分渲染模块将梯度通过渲染流水线反向传播，以实现从二维图像观测中对位姿参数的优化。
• 通过在合成图像与观测图像之间的残差上使用 Levenberg–Marquardt 算法进行非线性优化，完成位姿估计。
• 系统采用基于链式法则的雅可比矩阵计算方法，将图像形成模型与三维位姿参数关联，实现基于梯度的参数精炼。

实验结果

研究问题

• RQ1 基于光线追踪的渲染引擎能否准确模拟具有真实大气与阴影效应的空间观测？
• RQ2 NaRPA 在多视角立体图像生成方面表现如何，能否通过三角测量实现准确的三维坐标估计？
• RQ3 NaRPA 中的可微分渲染在多大程度上能够实现从二维图像投影中准确估计三维位姿？
• RQ4 NaRPA 是否可作为测试自主航天器任务中基于视觉导航算法的真实基准仿真环境？
• RQ5 引入基于物理的光照与大气建模在多大程度上提升了光流与位姿估计算法的鲁棒性？

主要发现

• NaRPA 生成了具有准确大气散射效果的逼真图像，包括昼夜变化与浊度变化，显著提升了空间任务仿真的真实感。
• NaRPA 的立体图像生成能力支持通过三角测量实现准确的三维坐标估计，点云数据作为验证的真值。
• 可微分渲染模块在国际空间站对接机动仿真中实现了位姿估计的收敛，代价函数随迭代次数减少，如图 22 所示。
• 从合成图像中估计的位姿与真实位姿高度一致，通过仿真序列中五帧图像的视觉对比得到验证。
• 该框架证明了可通过渲染流水线实现基于梯度的优化，从而从二维图像观测中推断三维位姿的可行性。
• NaRPA 的多传感器输出能力支持对视觉导航算法的全面测试，包括依赖深度与轮廓数据的算法。