[论文解读] Rock Hunting With Martian Machine Vision

David Noever, Samantha E. Miller Noever|arXiv (Cornell University)|Apr 9, 2021

Planetary Science and Exploration参考文献 11被引用 5

一句话总结

本文提出了一种低功耗、面向边缘计算的深度学习系统，用于利用毅力号火星车的视觉系统实现实时火星岩石检测。通过微调并量化神经网络以适配微控制器部署，该方法在岩石与火星车分类任务中实现了97%的准确率，并实现了实时边界框定位，证明了在计算资源受限条件下实现自主行星探测的可行性。

ABSTRACT

The Mars Perseverance rover applies computer vision for navigation and hazard avoidance. The challenge to do onboard object recognition highlights the need for low-power, customized training, often including low-contrast backgrounds. We investigate deep learning methods for the classification and detection of Martian rocks. We report greater than 97% accuracy for binary classifications (rock vs. rover). We fine-tune a detector to render geo-located bounding boxes while counting rocks. For these models to run on microcontrollers, we shrink and quantize the neural networks' weights and demonstrate a low-power rock hunter with faster frame rates (1 frame per second) but lower accuracy (37%).

研究动机与目标

• 通过车载计算机视觉实现火星上自主岩石检测，同时最大限度降低功耗和计算成本。
• 将深度学习模型适配至典型空间漫游车所采用的资源受限微控制器上部署。
• 在低对比度、复杂的火星地形条件下，仍保持高精度的岩石分类与定位能力。
• 探索知识蒸馏和量化等模型压缩技术在边缘部署中的应用。
• 在毅力号火星车上实现实时运行，平衡推理速度、模型大小与准确率。

提出的方法

• 微调预训练的目标检测模型，以在火星地形图像上定位岩石并生成带有地理坐标的边界框。
• 应用知识蒸馏和权重量化技术，压缩神经网络以适配微控制器部署。
• 通过剪枝和将网络权重量化为8位整数，减小模型大小并降低推理时间。
• 使用低对比度、自然火星背景图像，训练二分类器以实现岩石与火星车的检测。
• 优化推理流水线，实现在嵌入式硬件上每秒1帧的推理速度，同时适度降低准确率。
• 利用ImageNet预训练模型进行迁移学习，以在有限标注数据下适配火星岩石识别任务。

实验结果

研究问题

• RQ1 深度学习模型能否在微控制器上被有效压缩并部署，以实现在火星上的实时岩石检测？
• RQ2 在空间任务的边缘部署中，对深度神经网络进行量化和压缩后，可维持多高的准确率？
• RQ3 在火星运行约束条件下，模型压缩如何影响嵌入式系统上的推理速度与帧率？
• RQ4 微调后的目标检测器能否以足够精度定位岩石，以支持火星上的科学采样？
• RQ5 在低功耗空间硬件上部署视觉模型时，模型准确率、大小与推理速度之间存在何种权衡？

主要发现

• 二分类岩石与火星车间别器在测试数据上实现了超过97%的准确率，证明其在区分岩石与火星车方面具有高度可靠性。
• 完整的目标检测模型成功生成了高精度的、带有地理坐标的岩石边界框。
• 经过量化与压缩后，模型在微控制器上实现了每秒1帧的推理速度，适合实时运行。
• 压缩后的模型在37%准确率下仍保持功能性性能，证明其在低功耗场景下的可行性。
• 知识蒸馏与权重量化显著减小了模型大小并降低了能耗，且未造成灾难性准确率损失。
• 该方法证明，面向边缘优化的深度学习在仅依赖有限星上计算资源的自主行星探测中具有可行性。