[论文解读] Multitask Learning for Large-scale Semantic Change Detection

Rodrigo Caye Daudt, Bertrand Le Saux+2 more|arXiv (Cornell University)|Oct 19, 2018

Remote-Sensing Image Classification参考文献 44被引用 12

一句话总结

本文提出了首个大规模超分辨率语义变化检测数据集（HRSCD），包含超过290对图像，支持语义变化检测的深度监督学习。提出了一种多任务全卷积网络，联合执行变化检测与地表覆盖分类，采用顺序训练策略，避免超参数调优，实现了二值化与语义变化检测任务的最先进性能。

ABSTRACT

Change detection is one of the main problems in remote sensing, and is essential to the accurate processing and understanding of the large scale Earth observation data available through programs such as Sentinel and Landsat. Most of the recently proposed change detection methods bring deep learning to this context, but openly available change detection datasets are still very scarce, which limits the methods that can be proposed and tested. In this paper we present the first large scale high resolution semantic change detection (HRSCD) dataset, which enables the usage of deep learning methods for semantic change detection. The dataset contains coregistered RGB image pairs, pixel-wise change information and land cover information. We then propose several methods using fully convolutional neural networks to perform semantic change detection. Most notably, we present a network architecture that performs change detection and land cover mapping simultaneously, while using the predicted land cover information to help to predict changes. We also describe a sequential training scheme that allows this network to be trained without setting a hyperparameter that balances different loss functions and achieves the best overall results.

研究动机与目标

• 解决超分辨率（VHR）遥感影像中大规模、全标注语义变化检测数据集稀缺的问题。
• 使深度监督学习技术能够应用于语义变化检测，该领域此前受限于数据稀缺。
• 开发一种多任务学习框架，通过联合训练变化检测与地表覆盖分类，提升变化检测性能。
• 提出一种顺序训练策略，避免多任务学习中损失函数权重的手动超参数调优。
• 提供基准数据集与方法，推动深度学习在语义变化检测研究中的发展。

提出的方法

• 提出一个大规模、公开发布的VHR语义变化检测数据集（HRSCD），包含291对配准的RGB图像对，附带像素级变化与地表覆盖标注。
• 设计一种多任务全卷积神经网络（FCN），通过共享分支与任务特定分支，同时执行变化检测与地表覆盖分类。
• 利用预测的地表覆盖特征作为上下文先验，提升变化检测性能，借助语义上下文实现更优定位。
• 采用顺序训练策略：网络首先在地表覆盖分类任务上训练，随后端到端微调于变化检测任务，避免多损失函数之间的平衡问题。
• 应用标准深度学习技术，如跳跃连接、批量归一化与空洞卷积，以增强高分辨率影像中的特征学习。
• 通过数据增强及训练与测试集的仔细划分，减少过拟合，尤其针对数据集中存在的噪声标签。

实验结果

研究问题

• RQ1 能否为超分辨率遥感影像创建一个大规模、全标注的语义变化检测数据集，以支持深度学习？
• RQ2 与仅在变化检测上训练相比，联合训练地表覆盖分类与变化检测是否能提升性能？
• RQ3 顺序训练策略是否能消除多任务学习中损失函数权重超参数调优的需求？
• RQ4 深度学习模型在语义变化检测上的性能如何随训练数据量的增加而变化？
• RQ5 VHR影像中的标签噪声与视差效应在多大程度上影响模型性能与泛化能力？

主要发现

• 所提出的HRSCD数据集包含291对图像，标注像素超过300万个，是目前公开可用的最大语义变化检测数据集，适用于VHR影像。
• 联合执行变化检测与地表覆盖分类的多任务FCN在Eppalock Lake测试集上，语义变化检测的总准确率达到98.70%，Kappa系数为97.52%。
• 顺序训练策略优于标准多任务训练，通过消除损失权重超参数调优，实现了更好的泛化与性能。
• 性能随训练数据减少而可预测地下降：Kappa系数从完整数据集的25.49降至一半数据的23.34与四分之一数据的22.18，证实该数据集适合数据饥渴型深度学习模型。
• 该方法优于先前的SOTA方法（如ReCNN-LSTM），在Eppalock Lake数据集上实现99.35%的总准确率与98.67%的Kappa系数，用于二值化变化检测。
• 训练集与测试集中存在的标签噪声可能低估了真实模型性能，表明实际性能可能高于报告值。