[论文解读] Spacecraft Pose Estimation Based on Unsupervised Domain Adaptation and on a 3D-Guided Loss Combination

Juan Ignacio Bravo Pérez-Villar, Álvaro García‐Martín+1 more|arXiv (Cornell University)|Dec 27, 2022

Space Satellite Systems and Control被引用 4

一句话总结

本文提出了一种3D引导损失组合与无监督域自适应（UDA）方法，用于航天器位姿估计，利用合成数据解决仿真与真实测试条件之间的域偏移问题。该方法在2021年欧洲空间局-斯坦福位姿估计挑战赛中取得第二名，且在Sunlamp和Lightbox两个测试集上的平均误差最低，展现出对光照变化和反光的鲁棒性。

ABSTRACT

Spacecraft pose estimation is a key task to enable space missions in which two spacecrafts must navigate around each other. Current state-of-the-art algorithms for pose estimation employ data-driven techniques. However, there is an absence of real training data for spacecraft imaged in space conditions due to the costs and difficulties associated with the space environment. This has motivated the introduction of 3D data simulators, solving the issue of data availability but introducing a large gap between the training (source) and test (target) domains. We explore a method that incorporates 3D structure into the spacecraft pose estimation pipeline to provide robustness to intensity domain shift and we present an algorithm for unsupervised domain adaptation with robust pseudo-labelling. Our solution has ranked second in the two categories of the 2021 Pose Estimation Challenge organised by the European Space Agency and the Stanford University, achieving the lowest average error over the two categories.

研究动机与目标

• 解决训练数据驱动模型时缺乏在轨真实航天器位姿数据的问题。
• 克服由于光照、反光和背景条件差异导致的合成训练数据与真实测试数据之间的域偏移问题。
• 提升在强反光和光照多变等复杂空间条件下位姿估计的鲁棒性。
• 开发一种无监督域自适应策略，无需目标数据的真实标注即可生成可靠的伪标签。
• 在2021年航天器位姿估计挑战赛（SPEC2021）的两种不同真实世界测试场景中实现最先进性能。

提出的方法

• 通过将3D结构信息融入损失函数，引入一种3D引导损失，结合2D热力图损失与3D位姿对齐损失，提升在强度域偏移下的泛化能力。
• 采用两阶段流程：首先通过卷积神经网络（如HRNet）预测2D关键点热力图，然后利用PnP算法从2D-3D对应关系估计6-DoF位姿。
• 通过迭代伪标签法实现无监督域自适应，利用RANSAC-EPnP在无标签目标图像上生成可靠的位姿预测。
• 实施自训练循环，模型在高置信度伪标签目标样本上重新训练，同时采用动态重投影误差阈值控制标签质量。
• 采用基于验证的早停策略与置信度过滤，避免伪标签过程中噪声累积。
• 在合成SPEED+数据集（60k张图像）上进行训练，并通过自适应阈值化的UDA方法在目标数据集（Sunlamp和Lightbox）上进行微调。

实验结果

研究问题

• RQ1 在光照与反光差异导致的域偏移下，将3D几何结构信息融入损失函数是否能提升位姿估计的鲁棒性？
• RQ2 当无真实目标标签可用时，基于鲁棒伪标签的无监督域自适应在航天器位姿估计中效果如何？
• RQ3 在Sunlamp和Lightbox等视觉差异较大的测试集中，动态调整伪标签过程中的重投影误差阈值是否能提升性能？
• RQ4 在合成数据上训练的单一模型是否能有效泛化到具有强反光和复杂背景的真实世界测试场景？
• RQ5 3D引导损失对降低复杂空间条件下位置与姿态误差有何影响？

主要发现

• 所提方法在2021年SPEC2021挑战赛中，于Sunlamp和Lightbox两个测试集上的平均误差均位列第二低，整体平均得分最佳。
• 在Sunlamp数据集上，方法总误差为1.0692，显著低于基线的1.2324。
• 在Lightbox数据集上，方法总误差为1.0546，优于基线的1.1823。
• 采用3D引导损失提升了泛化能力，即使在合成数据到真实数据的域偏移下也有效降低了误差。
• 通过自适应重投影误差（从2.0降至1.0）的迭代伪标签法，在Lightbox数据集上实现了更缓慢但更稳定的伪标签数量增长，尽管最终性能与固定阈值法相当。
• 该方法在两个数据集上均保持了高性能，表明对不同光照条件和背景复杂度具有强鲁棒性。