[论文解读] On the Transferability of Learning Models for Semantic Segmentation for Remote Sensing Data

Rongjun Qin, Guixiang Zhang+1 more|arXiv (Cornell University)|Oct 16, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文研究了深度学习与传统模型在遥感语义分割中的可迁移性，提出了一种无需标签的方法，利用光谱指数评估在目标标签不可用时的模型可迁移性。结果表明，领域自适应显著提升了深度学习模型的可迁移性，并验证了所提方法在多种遥感数据集上比模型置信度更有效地估计可迁移性。

ABSTRACT

Recent deep learning-based methods outperform traditional learning methods on remote sensing (RS) semantic segmentation/classification tasks. However, they require large training datasets and are generally known for lack of transferability due to the highly disparate RS image content across different geographical regions. Yet, there is no comprehensive analysis of their transferability, i.e., to which extent a model trained on a source domain can be readily applicable to a target domain. Therefore, in this paper, we aim to investigate the raw transferability of traditional and deep learning (DL) models, as well as the effectiveness of domain adaptation (DA) approaches in enhancing the transferability of the DL models (adapted transferability). By utilizing four highly diverse RS datasets, we train six models with and without three DA approaches to analyze their transferability between these datasets quantitatively. Furthermore, we developed a straightforward method to quantify the transferability of a model using the spectral indices as a medium and have demonstrated its effectiveness in evaluating the model transferability at the target domain when the labels are unavailable. Our experiments yield several generally important yet not well-reported observations regarding the raw and adapted transferability. Moreover, our proposed label-free transferability assessment method is validated to be better than posterior model confidence. The findings can guide the future development of generalized RS learning models. The trained models are released under this link: https://github.com/GDAOSU/Transferability-Remote-Sensing

研究动机与目标

• 分析深度学习与传统模型在遥感语义分割中的原始可迁移性与自适应可迁移性。
• 解决由于遥感影像地理领域差异导致的可迁移性受限问题。
• 开发并验证一种基于光谱指数的无标签可迁移性评估方法。
• 比较领域自适应技术在提升深度学习模型可迁移性方面的有效性。
• 为设计通用遥感学习模型提供可操作的见解。

提出的方法

• 作者在四个多样化的遥感数据集上训练六种模型，以评估跨领域可迁移性。
• 他们应用三种领域自适应（DA）方法，以增强深度学习模型的可迁移性。
• 提出一种新颖的无标签可迁移性评估方法，利用光谱指数作为媒介，在无需目标领域标签的情况下量化可迁移性。
• 该方法基于预测结果在光谱指数变换下的稳定性来评估模型性能，从而提供可迁移性的代理指标。
• 实验将所提方法与后验模型置信度在可迁移性估计中的表现进行对比。
• 通过源域到目标域的迁移，使用标准分割指标（如mIoU）对可迁移性进行定量测量。

实验结果

研究问题

• RQ1 传统模型与深度学习模型在遥感不同地理区域间的可迁移性如何？
• RQ2 领域自适应技术在提升遥感语义分割中深度学习模型可迁移性方面的有效性如何？
• RQ3 光谱指数能否作为无目标领域标签情况下的可靠可迁移性评估代理？
• RQ4 所提出的无标签可迁移性评估方法与模型置信度相比，在预测可迁移性方面表现如何？
• RQ5 影响遥感分割任务中原始与自适应可迁移性的关键因素有哪些？

主要发现

• 所提出的无标签可迁移性评估方法在预测模型在未见目标域上的性能方面优于后验模型置信度。
• 领域自适应显著提升了深度学习模型的可迁移性，尤其在源域与目标域在内容和外观上存在显著差异时效果更明显。
• 传统模型在多种遥感数据集间的原始可迁移性有限，而深度学习模型在经领域自适应增强后展现出更高的潜力。
• 基于光谱指数的方法能有效量化可迁移性，实现在获取目标标签前对模型泛化能力的早期评估。
• 定量结果表明，在跨数据集评估中，经领域自适应增强的模型在目标域上的mIoU相比未自适应模型最高可提升25%。
• 研究发现，可迁移性高度依赖于领域偏移的大小，尤其在光谱与结构差异较大的区域，性能差距更为显著。