[论文解读] Towards Robust Learning-Based Pose Estimation of Noncooperative Spacecraft

Tae Ha Park, S. K. Sharma+1 more|arXiv (Cornell University)|Sep 1, 2019

Space Satellite Systems and Control被引用 40

一句话总结

本论文提出一种紧凑的 CNN 架构，用于检测二维边界框并回归飞船的二维关键点，然后通过 PnP 求解六维姿态；并引入纹理随机化以缩小合成空间与太空环境之间的差距。

ABSTRACT

This work presents a novel Convolutional Neural Network (CNN) architecture and a training procedure to enable robust and accurate pose estimation of a noncooperative spacecraft. First, a new CNN architecture is introduced that has scored a fourth place in the recent Pose Estimation Challenge hosted by Stanford's Space Rendezvous Laboratory (SLAB) and the Advanced Concepts Team (ACT) of the European Space Agency (ESA). The proposed architecture first detects the object by regressing a 2D bounding box, then a separate network regresses the 2D locations of the known surface keypoints from an image of the target cropped around the detected Region-of-Interest (RoI). In a single-image pose estimation problem, the extracted 2D keypoints can be used in conjunction with corresponding 3D model coordinates to compute relative pose via the Perspective-n-Point (PnP) problem. These keypoint locations have known correspondences to those in the 3D model, since the CNN is trained to predict the corners in a pre-defined order, allowing for bypassing the computationally expensive feature matching processes. This work also introduces and explores the texture randomization to train a CNN for spaceborne applications. Specifically, Neural Style Transfer (NST) is applied to randomize the texture of the spacecraft in synthetically rendered images. It is shown that using the texture-randomized images of spacecraft for training improves the network's performance on spaceborne images without exposure to them during training. It is also shown that when using the texture-randomized spacecraft images during training, regressing 3D bounding box corners leads to better performance on spaceborne images than regressing surface keypoints, as NST inevitably distorts the spacecraft's geometric features to which the surface keypoints have closer relation.

研究动机与目标

• 使用深度学习来实现对非合作航天器的鲁棒单目姿态估计的动机。
• 提出一种解耦检测与基于关键点的姿态估计的紧凑架构，以实现实时推理。
• 研究通过纹理随机化来弥合合成域与太空环境之间的差距。
• 评估在光照、遮挡和航天器间距离变化下的鲁棒性。

提出的方法

• 通过适配自 YOLOv3 的对象检测网络 (ODN)，结合 MobileNetv2 与深度可分离卷积，检测二维边界框。
• 对检测框周围的 RoI 进行裁剪，并使用类似于 YOLOv2 的关键点回归网络 (KRN) 回归 2D 关键点位置，使用提前定义的 11 个 3D 关键点。
• 通过求解 EPnP，结合恢复的 3D 关键点和 2D 关键点，计算 6D 姿态。
• 用增强鲁棒性的合成数据进行训练；通过神经风格迁移引入纹理随机化，以缩小合成与太空环境之间的差距。
• 可选地通过重投影优化从线框或训练数据中回收 3D 关键点。
• 使用 IoU、平移误差、旋转误差，以及 SLAB/ESA 姿态分数来报告性能。

实验结果

研究问题

• RQ1 一个解耦的基于 CNN 的管线（先检测再进行关键点回归）是否能够从单幅图像实现实时、鲁棒的六维姿态估计？
• RQ2 将 2D 关键点位置回归与 3D 边界框角点回归在太空数据中的表现有何差异？
• RQ3 通过 NST 的纹理随机化是否提高了从合成到太空环境的泛化能力？
• RQ4 在合成与真实太空数据集上，所提架构在准确性与速度方面的取舍如何？

主要发现

• SPEED 合成验证中 ODN 的平均 IoU 为 0.919。
• 平均平移误差 E_T 对于最佳情形小于 0.01–0.011 m，在其他情形约为 0.124–0.210 m；平均旋转误差 E_R 约为 3.1 度。
• SPEED 合成验证上的 SLAB/ESA 得分为 0.073，在挑战中排名第4。
• 从 ODN 和 KRN 到整条管线的总推理速度在 GPU 约为 70 FPS，在 CPU 为 4 FPS。
• 回归 2D 关键点的 KRN 变体（KRN-SK）或回归 3D 边界框角点的 KRN-BB 在 3–30+ 米的距离范围和光照变化下表现稳健，ODN 即使在最差情况下也能提供较高 IoU。
• 纹理随机化（PRISMA12K-TR）提高了太空环境的泛化能力；在最佳 epoch 相较于 TR=0，PRISMA25 的最佳设置下降低了 SLAB/ESA 分数。