[论文解读] Robotic Testbed for Rendezvous and Optical Navigation: Multi-Source Calibration and Machine Learning Use Cases

Tae Ha Park, Juergen Bosse+1 more|arXiv (Cornell University)|Aug 12, 2021

Space Satellite Systems and Control被引用 8

一句话总结

本文提出了TRON，这是首个用于在轨光学导航中验证机器学习算法的机器人测试平台，采用具有毫米级位姿精度的高保真模拟图像。结果表明，TRON生成的图像揭示了合成数据与真实空间光学图像之间存在显著的域差距，从而能够在逼真的光照和视角条件下，对基于合成数据训练的卷积神经网络（CNN）进行稳健验证。

ABSTRACT

This work presents the most recent advances of the Robotic Testbed for Rendezvous and Optical Navigation (TRON) at Stanford University - the first robotic testbed capable of validating machine learning algorithms for spaceborne optical navigation. The TRON facility consists of two 6 degrees-of-freedom KUKA robot arms and a set of Vicon motion track cameras to reconfigure an arbitrary relative pose between a camera and a target mockup model. The facility includes multiple Earth albedo light boxes and a sun lamp to recreate the high-fidelity spaceborne illumination conditions. After the overview of the facility, this work details the multi-source calibration procedure which enables the estimation of the relative pose between the object and the camera with millimeter-level position and millidegree-level orientation accuracies. Finally, a comparative analysis of the synthetic and TRON simulated imageries is performed using a Convolutional Neural Network (CNN) pre-trained on the synthetic images. The result shows a considerable gap in the CNN's performance, suggesting the TRON simulated images can be used to validate the robustness of any machine learning algorithms trained on more easily accessible synthetic imagery from computer graphics.

研究动机与目标

• 开发一个机器人测试平台，能够模拟真实空间光学导航条件，用于验证机器学习算法。
• 解决合成训练数据与真实空间光学图像之间的域差距问题，该差距会降低轨道上卷积神经网络的性能。
• 在无需实际空间光学图像的情况下，实现在地面上对卷积神经网络鲁棒性的验证。
• 通过引入逼真的光照（太阳灯和反照率箱）和纹理化目标样机，提升模拟图像的保真度。
• 创建下一代数据集（SPEED+），用于在多样化、逼真的空间环境中训练和验证基于视觉的导航系统。

提出的方法

• TRON设施使用两台6自由度KUKA机械臂，以毫米级精度精确调整相机与目标样机之间的相对位姿。
• 多源标定融合KUKA机械臂编码器和Vicon运动捕捉相机的数据，实现亚毫米级和毫度级精度的相对位姿估计。
• 系统包含10个地球反照率光照箱和一个金属卤化物太阳灯，用以模拟漫射和直接的类空间光照条件。
• 在不同光照条件（太阳灯 vs. 反照率）、视角（太阳电池板 vs. 后表面）和位姿配置下，捕获高保真模拟图像。
• 使用SPEED评分指标，将预训练的卷积神经网络在合成数据（SPEED）和TRON模拟图像上进行评估，以量化域差距。
• 优化数据融合与剔除准则，减少对Vicon测量的依赖，提升标定的一致性。

实验结果

研究问题

• RQ1 机器人测试平台能否生成足够保真的模拟图像，以暴露合成图像与真实空间光学图像之间的域差距？
• RQ2 光照逼真度（太阳灯 vs. 反照率）如何影响在合成数据上训练的卷积神经网络与在模拟数据上测试的性能差距？
• RQ3 目标样机表面纹理（如后表面与太阳电池板）是否会影响卷积神经网络性能的域差距？
• RQ4 TRON模拟图像在多大程度上可用于验证基于合成数据训练的卷积神经网络的鲁棒性？
• RQ5 TRON设施能否支持创建下一代数据集（SPEED+），以更好地代表未知空间光学领域，用于算法验证？

主要发现

• 通过KUKA与Vicon系统的多源标定，TRON在相对位姿估计中实现了毫米级位置和毫度级姿态精度。
• 在合成SPEED图像上预训练的卷积神经网络在TRON模拟图像上的表现显著变差，证实了存在显著的域差距。
• 在太阳灯照明和观察Tango样机纹理化后表面时，性能差距最为明显，表明这些条件更具真实性。
• TRON生成的模拟图像能有效识别并量化域偏移，尤其是在采用高保真光照和复杂表面纹理时。
• 使用太阳灯和后表面视角可增加挑战性和真实性，使其成为鲁棒性测试的理想配置。
• TRON支持创建SPEED+，一个下一代数据集，包含约10,000张高保真模拟图像，可用于在真实空间条件下训练和验证基于视觉的导航系统。