[论文解读] Semi-Supervised Learning for Mars Imagery Classification and Segmentation

Wenjing Wang, Lilang Lin+2 more|arXiv (Cornell University)|Jun 5, 2022

Planetary Science and Exploration被引用 4

一句话总结

该论文提出了一种用于火星影像分类与分割的半监督对比学习框架，通过利用标注数据进行监督类间对比学习，以及通过在线伪标签和相似性学习利用未标注数据，有效缓解了严重的训练-测试分布偏移和数据质量问题。该方法实现了最先进性能，在AI4Mars数据集上相较于基线模型mIoU提升4.11%，优于现有方法。

ABSTRACT

With the progress of Mars exploration, numerous Mars image data are collected and need to be analyzed. However, due to the imbalance and distortion of Martian data, the performance of existing computer vision models is unsatisfactory. In this paper, we introduce a semi-supervised framework for machine vision on Mars and try to resolve two specific tasks: classification and segmentation. Contrastive learning is a powerful representation learning technique. However, there is too much information overlap between Martian data samples, leading to a contradiction between contrastive learning and Martian data. Our key idea is to reconcile this contradiction with the help of annotations and further take advantage of unlabeled data to improve performance. For classification, we propose to ignore inner-class pairs on labeled data as well as neglect negative pairs on unlabeled data, forming supervised inter-class contrastive learning and unsupervised similarity learning. For segmentation, we extend supervised inter-class contrastive learning into an element-wise mode and use online pseudo labels for supervision on unlabeled areas. Experimental results show that our learning strategies can improve the classification and segmentation models by a large margin and outperform state-of-the-art approaches.

研究动机与目标

• 解决火星巡视器影像中严重的训练-测试分布差距和低质量数据问题，这些问题会阻碍传统计算机视觉模型的性能。
• 开发一种针对外星行星数据（标注数据有限且存在噪声）的鲁棒表示学习框架。
• 通过半监督学习提升火星特定视觉任务（图像分类与语义分割）的性能。
• 通过整合监督信号与未标注数据，调和火星数据中对比学习与高样本间相似性之间的矛盾。
• 通过改进的特征表示，证明其在下游视觉任务（如目标检测与跟踪）中的泛化能力。

提出的方法

• 通过在标注数据中排除类内样本对，提出监督类间对比学习，以避免冗余。
• 在未标注数据上应用无监督相似性学习，忽略负样本对，专注于特征紧凑性。
• 将对比学习扩展为逐元素、像素级别的形式，以适用于语义分割任务。
• 引入在线伪标签机制，对未标注区域使用高置信度预测提供动态监督。
• 通过平衡损失函数联合优化分割与对比学习，采用分割损失与对比损失的加权组合。
• 使用阈值（设为0.9）过滤低置信度伪标签，以减少训练信号中的噪声。

Figure 1. The proposed semi-supervised learning paradigm for Martian machine vision tasks . Left: the framework of conventional contrastive learning. Due to the redundancy in Mars data, naive pairs can be inappropriate. Right: our semi-supervised framework. On labeled data, we generate inner-class p

实验结果

研究问题

• RQ1 尽管存在高样本间相似性与数据失真，对比学习是否仍可有效应用于火星影像？
• RQ2 半监督学习策略如何缓解火星巡视器数据集中严重的训练-测试分布差距？
• RQ3 在火星数据上联合训练时，对比学习与分割损失之间的最优平衡是什么？
• RQ4 使用置信度阈值的在线伪标签如何影响分割性能与鲁棒性？
• RQ5 所提出的方案在火星特定视觉表示中，对特征紧凑性与可分性的提升程度如何？

主要发现

• 所提方法在AI4Mars分割基准上达到70.34%的mIoU，相较于基线模型提升4.11%。
• 消融实验表明，结合预训练与在线伪标签的联合半监督学习性能最高，mIoU从66.23%提升至70.34%。
• 将伪标签阈值设为0.9可获得最优性能，过低的阈值会引入噪声，过高的阈值则会减少监督信号。
• 对比学习的最优损失权重（$\lambda^{s}_{seg} = 0.001$）在特征学习与分割精度之间实现最佳平衡，使mIoU达到70.34%的峰值。
• 特征可视化结果表明，所提方法生成的表示更具紧凑性与可分性，尤其在土壤与沙地等显著类别上表现更优。
• 主观分割结果表明，与基线相比，边界更清晰，误分类更少（如土壤与沙地的混淆显著减少）。

Figure 2. The uneven category distribution of train/validation and test sets in Mars rover data. (a) MSL surface dataset (Wagstaff et al . , 2018 ) . (b) AI4Mars dataset (Swan et al . , 2021 ) .