[论文解读] You Only Crash Once: Improved Object Detection for Real-Time, Sim-to-Real Hazardous Terrain Detection and Classification for Autonomous Planetary Landings

Timothy Chase, Chris Gnam+2 more|arXiv (Cornell University)|Mar 8, 2023

Space Satellite Systems and Control被引用 6

一句话总结

本文提出 You Only Crash Once (YOCO)，一种用于自主行星着陆的实时、仿真到真实（sim-to-real）目标检测系统，该系统基于 YOLOv3 并结合无监督域自适应与视觉相似性聚类技术，可在无需真实世界标注数据或飞行前危险地形制图的情况下，检测并分类诸如陨石坑、沙地和山脉等危险地形，在模拟与真实火星地形场景下，其检测精度与鲁棒性均优于 YOLOv3。

ABSTRACT

The detection of hazardous terrain during the planetary landing of spacecraft plays a critical role in assuring vehicle safety and mission success. A cheap and effective way of detecting hazardous terrain is through the use of visual cameras, which ensure operational ability from atmospheric entry through touchdown. Plagued by resource constraints and limited computational power, traditional techniques for visual hazardous terrain detection focus on template matching and registration to pre-built hazard maps. Although successful on previous missions, this approach is restricted to the specificity of the templates and limited by the fidelity of the underlying hazard map, which both require extensive pre-flight cost and effort to obtain and develop. Terrestrial systems that perform a similar task in applications such as autonomous driving utilize state-of-the-art deep learning techniques to successfully localize and classify navigation hazards. Advancements in spacecraft co-processors aimed at accelerating deep learning inference enable the application of these methods in space for the first time. In this work, we introduce You Only Crash Once (YOCO), a deep learning-based visual hazardous terrain detection and classification technique for autonomous spacecraft planetary landings. Through the use of unsupervised domain adaptation we tailor YOCO for training by simulation, removing the need for real-world annotated data and expensive mission surveying phases. We further improve the transfer of representative terrain knowledge between simulation and the real world through visual similarity clustering. We demonstrate the utility of YOCO through a series of terrestrial and extraterrestrial simulation-to-real experiments and show substantial improvements toward the ability to both detect and accurately classify instances of planetary terrain.

研究动机与目标

• 开发一种实时、可泛化的视觉危险检测系统，用于自主航天器着陆，且不依赖飞行前危险地形制图或真实世界标注数据。
• 克服依赖预构建危险地形图的模板匹配方法的局限性，后者仅能识别已知地形特征。
• 通过域自适应与视觉相似性聚类，实现从仿真环境到真实行星表面的有效迁移。
• 在资源受限的太空计算环境中，提升对陨石坑、沙地和山脉等多样化地形类别的检测精度与鲁棒性。
• 通过仿真到真实环境的泛化能力，证明将地球上的最先进深度学习技术应用于空间任务的可行性。

提出的方法

• 将 YOLOv3 单阶段目标检测架构适配于航天器协处理器上的实时推理。
• 采用无监督域自适应方法，完全基于合成仿真数据进行模型训练，从而无需真实世界标注数据。
• 引入基于视觉相似性的聚类方法，按外观对地形特征进行分组，提升仿真与真实世界分布之间的对齐。
• 通过聚类减少不同领域间地形外观的类内差异，从而简化域偏移问题。
• 在包含不同光照、尺度与纹理的多样化合成行星地形数据集上进行模型训练，以增强泛化能力。
• 通过在真实火星进入/下降/着陆（EDL）图像与 HiRISE 轨道地标上的仿真到真实实验验证性能，并与 YOLOv3 进行对比。

实验结果

研究问题

• RQ1 仅在仿真数据上进行训练的基于深度学习的目标检测系统，能否在真实火星表面上以高精度检测并分类危险地形？
• RQ2 视觉相似性聚类在仿真到真实环境的危险地形检测中，如何提升域自适应性能？
• RQ3 YOCO 在真实世界火星图像中对沙地和山脉等具有挑战性的地形类别检测中，相较于 YOLOv3 的性能提升程度如何？
• RQ4 该系统是否能在无需微调的情况下泛化到分布外数据（如高分辨率 HiRISE 图像）？
• RQ5 域自适应与聚类的结合是否能在特征稀疏的行星环境中实现鲁棒检测？

主要发现

• 在真实火星 EDL 图像中，YOCO 检测到的陨石坑数量显著多于 YOLOv3，且误分类更少，定位精度更高。
• 在真实世界火星图像中，YOCO 能成功检测沙地与山脉地形类别，而 YOLOv3 在大多数情况下完全无法检测到这些类别。
• 在 HiRISE 地标实验中，YOCO 检测到了 YOLOv3 完全遗漏的地形特征，包括外观上类似山脉的大型陨石坑。
• 即使在错误分类的情况下（例如将陨石坑误标为山脉），YOCO 仍能准确定位合理的地形特征，表明其具备鲁棒的表征学习能力。
• 系统在分布外数据上保持了强劲性能，表明其从仿真到真实外星环境的有效泛化能力。
• 视觉相似性聚类通过减少类内外观差异，增强了域自适应效果，提升了从仿真到真实世界地形知识的迁移能力。