[论文解读] Revisiting Consistency Regularization for Semi-supervised Change Detection in Remote Sensing Images

Wele Gedara Chaminda Bandara, Vishal M. Patel|arXiv (Cornell University)|Apr 18, 2022

Remote-Sensing Image Classification被引用 58

一句话总结

论文提出一种半监督的变化检测模型，在对深度特征差分应用扰动时强制变化图的一致性，从而在标注样本显著更少的情况下实现强性能。它仅用 10% 的标签就接近于监督结果，并展示良好的跨数据集泛化。

ABSTRACT

Remote-sensing (RS) Change Detection (CD) aims to detect "changes of interest" from co-registered bi-temporal images. The performance of existing deep supervised CD methods is attributed to the large amounts of annotated data used to train the networks. However, annotating large amounts of remote sensing images is labor-intensive and expensive, particularly with bi-temporal images, as it requires pixel-wise comparisons by a human expert. On the other hand, we often have access to unlimited unlabeled multi-temporal RS imagery thanks to ever-increasing earth observation programs. In this paper, we propose a simple yet effective way to leverage the information from unlabeled bi-temporal images to improve the performance of CD approaches. More specifically, we propose a semi-supervised CD model in which we formulate an unsupervised CD loss in addition to the supervised Cross-Entropy (CE) loss by constraining the output change probability map of a given unlabeled bi-temporal image pair to be consistent under the small random perturbations applied on the deep feature difference map that is obtained by subtracting their latent feature representations. Experiments conducted on two publicly available CD datasets show that the proposed semi-supervised CD method can reach closer to the performance of supervised CD even with access to as little as 10% of the annotated training data. Code available at https://github.com/wgcban/SemiCD

研究动机与目标

• 动机并解决双时相遥感变化检测（CD）中高标注成本的问题。
• 提出一种半监督的 CD 框架，通过在特征差分域进行一致性正则化，利用未标记的双时相数据。
• 证明聚类假设在深度特征差分域成立，而不在原始输入域成立，从而实现有效的未标记数据利用。
• 通过在公开的 CD 数据集 LEVIR 和 WHU 上进行跨数据集和跨域实验，评估鲁棒性与可迁移性。

提出的方法

• 使用一对 Siamese ResNet-50 编码器从变化前和变化后图像提取特征。
• 计算深层特征差分，并通过金字塔池化模块处理以获得与变化相关的表示。
• 通过一个解码器将其解码为变化概率图，该解码器在带标注的数据上以监督交叉熵损失进行训练。
• 通过对深度特征差分图进行扰动并在多种扰动下强制预测一致性，引入无监督的一致性损失。
• 探索多种扰动类型（噪声、特征丢弃、cutout、掩蔽、VAT）以及对无监督损失的逐步权重化。
• 用 L = L_sup + lambda(t) L_unsup 进行优化，其中 lambda(t) 按高斯样式的时间表从 0 增长到 1。

实验结果

研究问题

• RQ1 一致性正则化能否在半监督 CD 中得到有效应用，且扰动应在 CD 任务的何处施加？
• RQ2 聚类假设是在输入的双时相域中成立，还是在深度特征差分域中成立？
• RQ3 来自同一数据集或不同数据集的未标记数据在多大程度上能提升 CD 性能，相较于纯监督学习？
• RQ4 所提出的半监督 CD 方法在跨数据集（如 LEVIR 与 WHU）及跨数据集场景中的泛化程度如何？

主要发现

• CD 的聚类假设在深度特征差分域成立，而不在原始输入域成立。
• 在特征差分空间中使用一致性正则化的半监督 CD 模型，在标注数据仅占 10% 时就能达到接近监督 CD 的性能。
• 所提出的方法在低标注比例下显著超过此前最先进的半监督 CD（SemiCDNet）。
• 跨数据集实验显示出强泛化能力，在测试于不同数据集（LEVIR 与 WHU）以及使用其他数据集的未标记数据时，相对于基线有显著收益。
• 在半监督阶段使用来自不同数据集的未标记数据进一步提升 CD 结果，超出仅使用同一数据集未标记数据的效果。