[论文解读] Pose Estimation for Non-Cooperative Rendezvous Using Neural Networks

S. K. Sharma, Simone D’Amico|arXiv (Cornell University)|Jun 24, 2019

Robotics and Sensor-Based Localization参考文献 37被引用 13

一句话总结

本文提出了一种基于深度学习的航天器位姿网络（SPN），仅通过单张单目灰度图像即可估计非合作航天器的相对位姿（位置与姿态）。SPN采用三分支卷积神经网络，结合混合分类-回归方法进行姿态估计，并利用高斯牛顿算法进行位置估计，在仅使用合成数据进行训练的情况下，于真实太空类图像上实现了亚度级姿态误差与厘米级位置误差。

ABSTRACT

This work introduces the Spacecraft Pose Network (SPN) for on-board estimation of the pose, i.e., the relative position and attitude, of a known non-cooperative spacecraft using monocular vision. In contrast to other state-of-the-art pose estimation approaches for spaceborne applications, the SPN method does not require the formulation of hand-engineered features and only requires a single grayscale image to determine the pose of the spacecraft relative to the camera. The SPN method uses a Convolutional Neural Network (CNN) with three branches to solve for the pose. The first branch of the CNN bootstraps a state-of-the-art object detector to detect a 2D bounding box around the target spacecraft. The region inside the bounding box is then used by the other two branches of the CNN to determine the attitude by initially classifying the input region into discrete coarse attitude labels before regressing to a finer estimate. The SPN method then uses a novel Gauss-Newton algorithm to estimate the position by using the constraints imposed by the detected 2D bounding box and the estimated attitude. The secondary contribution of this work is the generation of the Spacecraft PosE Estimation Dataset (SPEED). SPEED consists of synthetic as well as actual camera images of a mock-up of the Tango spacecraft from the PRISMA mission. The synthetic images are created by fusing OpenGL-based renderings of the spacecraft's 3D model with actual images of the Earth captured by the Himawari-8 meteorological satellite. The actual camera images are created using a 7 degrees-of-freedom robotic arm, which positions and orients a vision-based sensor with respect to a full-scale mock-up of the Tango spacecraft. The SPN method, trained only on synthetic images, produces degree-level attitude error and cm-level position errors when evaluated on the actual camera images not used during training.

研究动机与目标

• 仅使用单张单目相机图像，实现航天器在轨自主位姿估计。
• 克服传统基于特征的方法依赖人工设计特征且对光照变化敏感的局限性。
• 通过在合成数据上训练并泛化至真实世界条件，弥合空间载荷位姿估计中的“仿真到现实”差距。
• 构建一个公开可用的、高保真的数据集（SPEED），用于在类空间条件下训练和评估单目位姿估计算法。
• 证明端到端深度学习可在无需先验位姿知识或复杂传感器融合的情况下实现高精度位姿估计。

提出的方法

• SPN架构采用三分支卷积神经网络：其中一支网络使用先进的目标检测框架，对目标航天器进行2D边界框检测。
• 其余两支网络通过混合方法估计相对姿态：首先将粗略姿态分类至离散的分箱中，再通过回归分支实现精细化估计。
• 相对位置通过一种新颖的高斯牛顿优化算法计算，该算法结合检测到的2D边界框与估计的姿态，求解3D位置。
• 该方法仅在通过融合Tango航天器3D渲染图像与Himawari-8真实地球图像生成的合成图像上进行训练。
• 采用配备校准光照系统的定制机械臂，模拟轨道光照条件，采集真实相机图像用于评估。
• 训练过程采用数据增强与领域随机化原则以提升泛化能力，尽管模型仍表现出对合成数据的轻微过拟合。

实验结果

研究问题

• RQ1 仅在合成数据上训练的深度学习模型，是否可在无需真实世界微调的情况下，实现对真实太空类图像的高精度位姿估计？
• RQ2 与直接回归或纯分类方法相比，混合分类-回归方法在相对姿态估计中的有效性如何？
• RQ3 通过透视投影与高斯牛顿优化引入几何约束，能在多大程度上提升位置估计的精度？
• RQ4 合成数据与真实图像之间的性能差距如何影响位姿估计？有哪些技术可减小这种域偏移？
• RQ5 一个具备真实光照与成像条件的公开数据集（SPEED）能否作为单目航天器位姿估计的可靠基准？

主要发现

• 在SPEED数据集的真实相机图像上评估时，SPN方法的平均相对姿态误差低于1°，尽管仅使用合成数据进行训练。
• 在真实测试集上，平均相对位置误差低于10 cm，表明从合成数据到真实世界条件具有极强的泛化能力。
• 从合成数据到真实图像的性能退化极小，姿态误差增加不足0.5°，位置误差增加不足2 cm，表明对域偏移具有鲁棒性。
• 姿态分类分支输出的概率分布显示，真实图像上的峰值置信度低于合成图像，表明对合成训练分布存在过拟合。
• 边界框检测组件表现良好，横向位置误差比光轴方向误差低一个数量级，表明中心估计准确。
• 该方法在部分可见目标上泛化效果良好，但在极近距离下目标仅部分可见时性能下降，表明遮挡处理仍有改进空间。