[论文解读] SPEED+: Next-Generation Dataset for Spacecraft Pose Estimation across Domain Gap

Tae Ha Park, Marcus Märtens+3 more|arXiv (Cornell University)|Oct 6, 2021

Space Satellite Systems and Control参考文献 46被引用 132

一句话总结

SPEED+ 引入了一个面向航天器位姿估计的下一代数据集，弥合了合成训练图像与真实世界硬件在回路（HIL）测试图像之间的域差距。通过结合60,000张合成图像与9,531张来自斯坦福大学SLAB实验室TRON测试台在真实空间光照和位姿条件下捕获的高保真HIL图像，SPEED+ 实现了对基于视觉的机器学习模型的鲁棒评估，显著提升了相较于先前数据集（如SPEED）的泛化能力和域自适应性能。

ABSTRACT

Autonomous vision-based spaceborne navigation is an enabling technology for future on-orbit servicing and space logistics missions. While computer vision in general has benefited from Machine Learning (ML), training and validating spaceborne ML models are extremely challenging due to the impracticality of acquiring a large-scale labeled dataset of images of the intended target in the space environment. Existing datasets, such as Spacecraft PosE Estimation Dataset (SPEED), have so far mostly relied on synthetic images for both training and validation, which are easy to mass-produce but fail to resemble the visual features and illumination variability inherent to the target spaceborne images. In order to bridge the gap between the current practices and the intended applications in future space missions, this paper introduces SPEED+: the next generation spacecraft pose estimation dataset with specific emphasis on domain gap. In addition to 60,000 synthetic images for training, SPEED+ includes 9,531 hardware-in-the-loop images of a spacecraft mockup model captured from the Testbed for Rendezvous and Optical Navigation (TRON) facility. TRON is a first-of-a-kind robotic testbed capable of capturing an arbitrary number of target images with accurate and maximally diverse pose labels and high-fidelity spaceborne illumination conditions. SPEED+ is used in the second international Satellite Pose Estimation Challenge co-hosted by SLAB and the Advanced Concepts Team of the European Space Agency to evaluate and compare the robustness of spaceborne ML models trained on synthetic images.

研究动机与目标

• 通过提供一个真实、大规模的基准数据集，用于训练和评估基于视觉的机器学习模型，解决航天器位姿估计中的域差距问题。
• 克服纯合成数据集的局限性，后者无法捕捉真实空间环境中视觉和光照的多样性。
• 利用物理捕获的、带有精确位姿标签的HIL图像，实现对模型在域偏移下鲁棒性的全面、定量评估。
• 支持未来在轨服务与空间物流任务中域泛化与域自适应技术的开发与验证。

提出的方法

• 该数据集结合了通过OpenGL渲染生成的60,000张合成图像，以及从斯坦福大学SLAB实验室TRON机器人测试台捕获的9,531张真实HIL图像。
• TRON设施通过精确且多样的位姿标签与高保真光照（包括地球反照率和直射阳光）复现了空间环境条件。
• HIL图像使用已知内参参数的标定Point Grey Grasshopper 3相机捕获，确保了几何保真度。
• 该数据集包含两个独立的HIL域：'lightbox' 和 'sunlamp'，分别模拟不同光照条件，以测试模型鲁棒性。
• 提供了标准化的相机模型与校准参数（fx, fy, px, py, 畸变），以确保评估的一致性。
• 在数据集上实现了基线模型（SPN, KRN, HigherHRNet）与域自适应技术（DANN, 风格增强）并进行了评估，以建立性能基准。

实验结果

研究问题

• RQ1 当从合成训练数据迁移到真实HIL测试图像时，模型性能如何退化？航天器位姿估计中的域差距有多大？
• RQ2 现有域自适应技术（如DANN、风格增强）在多大程度上能够缩小合成图像与真实HIL图像在航天器位姿估计中的性能差距？
• RQ3 HIL域中不同光照条件（如直射阳光与漫射光照）如何影响位姿估计模型的泛化能力？
• RQ4 所提出的HIL图像集合能否作为真实空间视觉图像的可靠替代品，用于在在轨部署前验证模型鲁棒性？

主要发现

• SPEED+ 在真实感与多样性方面相比先前数据集（如SPEED）有显著提升，包含9,531张高保真HIL图像，覆盖完整的位姿空间，并可支持高达10米的距离。
• 合成图像与HIL图像之间的域差距显著，基于合成数据训练的基线模型在HIL测试集上表现出明显的性能下降。
• 域自适应技术（如DANN与风格增强）可有效缩小域差距，平均将平均旋转误差降低达40%。
• HIL图像中保留了真实世界特征（如红外标记、安装孔与表面辉光），显著提升了数据集的真实感与实际应用价值。
• 该数据集支持在多样化光照与位姿条件下对模型鲁棒性进行定量评估，有助于开发更可靠的在轨导航系统。
• 通过Kelvins平台与Zenodo以CC BY-NC-SA 4.0许可发布，确保了研究社区的广泛可及性与可复现性。