[论文解读] Scribble-based Weakly Supervised Deep Learning for Road Surface Extraction from Remote Sensing Images

Wei Yao, Shunping Ji|arXiv (Cornell University)|Oct 25, 2020

Automated Road and Building Extraction参考文献 55被引用 8

一句话总结

本文提出ScRoadExtractor，一种基于涂抹标注的弱监督深度学习方法，用于从遥感图像中提取路面，使用道路中心线涂抹代替密集像素标注。该方法利用融合超像素的空间、颜色和缓冲区特性的道路标签传播算法生成伪掩码，用于训练双分支编码器-解码器网络，相比经典涂抹监督方法IoU提升20%，且在所有测试数据集中优于最先进弱监督方法至少4%。

ABSTRACT

Road surface extraction from remote sensing images using deep learning methods has achieved good performance, while most of the existing methods are based on fully supervised learning, which requires a large amount of training data with laborious per-pixel annotation. In this paper, we propose a scribble-based weakly supervised road surface extraction method named ScRoadExtractor, which learns from easily accessible scribbles such as centerlines instead of densely annotated road surface ground-truths. To propagate semantic information from sparse scribbles to unlabeled pixels, we introduce a road label propagation algorithm which considers both the buffer-based properties of road networks and the color and spatial information of super-pixels. The proposal masks generated from the road label propagation algorithm are utilized to train a dual-branch encoder-decoder network we designed, which consists of a semantic segmentation branch and an auxiliary boundary detection branch. We perform experiments on three diverse road datasets that are comprised of highresolution remote sensing satellite and aerial images across the world. The results demonstrate that ScRoadExtractor exceed the classic scribble-supervised segmentation method by 20% for the intersection over union (IoU) indicator and outperform the state-of-the-art scribble-based weakly supervised methods at least 4%.

研究动机与目标

• 减少在遥感图像路面提取中对昂贵逐像素标注的依赖。
• 开发一种弱监督方法，利用易于获取的涂抹标注（如道路中心线）作为监督信号。
• 通过利用空间、颜色和道路结构特性，将稀疏涂抹中的语义信息有效传播至未标注像素，提升分割精度。
• 设计一种双分支深度学习架构，增强语义分割与边界检测能力，从而提升路面预测性能。
• 在涵盖高分辨率卫星与航空影像的多种全球数据集上验证该方法的性能。

提出的方法

• 该方法提出一种道路标签传播算法，利用超像素特征、颜色相似性、空间邻近性以及基于缓冲区的道路网络结构，将涂抹标签传播至未标注像素。
• 从标签传播过程中生成伪掩码，并用于监督双分支编码器-解码器网络。
• 网络包含一个语义分割分支和一个辅助边界检测分支，以提升定位精度。
• 双分支架构支持分割与边界学习的联合优化，增强特征表示能力。
• 模型通过从涂抹标注中衍生的伪掩码进行端到端训练，避免对密集像素级标注的需求。
• 标签传播算法融合空间、颜色与拓扑道路特征，提升传播可靠性。

实验结果

研究问题

• RQ1 如道路中心线等涂抹标注能否作为遥感图像中路面提取的有效弱监督信号？
• RQ2 如何在保留道路网络结构的前提下，有效将语义信息从稀疏涂抹传播至未标注像素？
• RQ3 当使用弱监督伪掩码训练时，双分支编码器-解码器网络在多大程度上提升了路面分割性能？
• RQ4 与全监督及其他弱监督方法相比，该方法在IoU指标和跨多样化数据集的泛化能力方面表现如何？
• RQ5 该标签传播算法能否在不同图像分辨率和道路网络复杂度下保持准确性？

主要发现

• ScRoadExtractor相比经典涂抹监督分割方法，IoU提升20%。
• 在所有测试数据集中，该方法在IoU上优于最先进涂抹基弱监督方法至少4%。
• 双分支网络架构显著提升了边界定位能力，从而贡献于更高的分割精度。
• 标签传播算法有效利用空间、颜色与结构道路特征，从稀疏涂抹生成高质量伪掩码。
• 该方法在来自全球不同区域的三个多样化高分辨率遥感数据集上表现出良好的泛化能力。
• 使用中心线涂抹可将标注成本降低高达90%，同时保持高性能。