[论文解读] Real-Time, Flight-Ready, Non-Cooperative Spacecraft Pose Estimation Using Monocular Imagery

Kevin P. Black, Shrivu Shankar+4 more|arXiv (Cornell University)|Jan 23, 2021

Space Satellite Systems and Control参考文献 28被引用 22

一句话总结

本文提出了一种实时、适用于飞行任务的单目位姿估计系统，用于非合作航天器，采用仅在合成数据上训练的轻量级卷积神经网络（CNN）架构。该系统在真实太空中拍摄的诺斯罗普·格鲁曼增强型天鹤号航天器图像上实现了最先进水平的精度，且在低功耗飞行类硬件上以6.6 Hz的帧率运行，展示了出色的泛化能力与实时性能，且无需使用真实训练数据。

ABSTRACT

A key requirement for autonomous on-orbit proximity operations is the estimation of a target spacecraft's relative pose (position and orientation). It is desirable to employ monocular cameras for this problem due to their low cost, weight, and power requirements. This work presents a novel convolutional neural network (CNN)-based monocular pose estimation system that achieves state-of-the-art accuracy with low computational demand. In combination with a Blender-based synthetic data generation scheme, the system demonstrates the ability to generalize from purely synthetic training data to real in-space imagery of the Northrop Grumman Enhanced Cygnus spacecraft. Additionally, the system achieves real-time performance on low-power flight-like hardware.

研究动机与目标

• 开发一种适用于小型卫星、具有严格功耗与质量限制的实时、低计算成本位姿估计系统。
• 仅使用合成训练数据实现对非合作航天器的精确位姿估计，避免真实太空中标注图像稀缺的问题。
• 确保系统可在低功耗、抗辐射的飞行类硬件（如英特尔Joule 570x单板计算机）上实时运行。
• 提升系统在低信噪比、光照变化多样及复杂背景等挑战性空间成像条件下的鲁棒性。
• 集成一个误差预测模块，用于过滤不可靠的位姿估计结果，从而提升系统可靠性。

提出的方法

• 系统采用三阶段CNN流水线：目标检测、关键点回归与PnP位姿求解。
• 提出一种新型误差预测网络，用于估计不确定性并标记低质量的位姿估计结果以进行拒绝。
• 利用Blender的Cycles引擎生成合成图像，并加入真实的退化效果，如噪声、模糊与光照变化，以提升泛化能力。
• 整个模型在诺斯罗普·格鲁曼增强型天鹤号航天器的合成数据上端到端训练，训练过程中未使用任何真实图像。
• 通过OpenVINO对模型推理进行优化，显著提升在低功耗处理器上的运行速度。
• 在英特尔Joule 570x上进行硬件性能基准测试，该单板计算机为已飞行验证的商用现成（COTS）产品，曾用于美国国家航空航天局Seeker立方星任务。

实验结果

研究问题

• RQ1 仅在合成数据上训练的单目位姿估计系统能否有效泛化到真实太空中拍摄的非合作航天器图像？
• RQ2 基于轻量级CNN的架构能否在低功耗、抗辐射的飞行硬件上实现至少1 Hz的实时性能？
• RQ3 集成具有不确定性感知能力的误差预测模块在过滤错误位姿估计方面的有效性如何？
• RQ4 通过引入真实图像退化效果的合成数据增强，能在多大程度上提升系统对真实空间成像条件的鲁棒性？
• RQ5 在类似飞行代表性的硬件（如英特尔Joule 570x）上，该位姿估计系统的可实现推理速度与功耗是多少？

主要发现

• 该系统在SPEED数据集上实现了最先进水平的精度，表明其在欧洲空间局塔戈航天器合成数据上的强大性能表现。
• 尽管未使用真实训练数据，系统仍能有效泛化到真实太空中拍摄的诺斯罗普·格鲁曼增强型天鹤号航天器图像，在复杂观测条件下实现17.5°的中位旋转误差与0.105 m的中位平移误差。
• 在英特尔Joule 570x单板计算机上，经OpenVINO优化后，系统以6.6 Hz的帧率运行，实现了在飞行代表性硬件上的实时性能。
• 误差预测网络成功识别并拒绝了低质量估计结果，其中一个失败案例的预测误差高达86，表明其具有高不确定性。
• 推理时间从TensorFlow的1.777秒降低至OpenVINO的0.152秒，实现10倍加速，且在热平衡状态下功耗稳定在3.7W。
• 系统对旋转对称性问题与复杂背景具有鲁棒性，即使关键视觉特征（如标志）被遮挡，性能仍能保持稳定。