[论文解读] NL-LinkNet: Toward Lighter but More Accurate Road Extraction with Non-Local Operations

Yooseung Wang, Junghoon Seo+1 more|arXiv (Cornell University)|Aug 22, 2019

Automated Road and Building Extraction参考文献 26被引用 9

一句话总结

本文提出 NL-LinkNet，一种轻量化但高精度的 U-Net 基架构，用于从超分辨率卫星图像中提取道路，通过引入非局部操作以捕捉长距离上下文依赖关系。通过将非局部模块整合到编码器-解码器结构中，NL-LinkNet 在参数量减少 43%、GFLOPs 更低且收敛速度更快的情况下，实现了 65.00% 的 mIOU，超越了官方 DeepGlobe 挑战赛冠军模型 D-LinkNet。

ABSTRACT

Road extraction from very high resolution satellite (VHR) images is one of the most important topics in the field of remote sensing. In this paper, we propose an efficient Non-Local LinkNet with non-local blocks that can grasp relations between global features. This enables each spatial feature point to refer to all other contextual information and results in more accurate road segmentation. In detail, our single model without any post-processing like CRF refinement, performed better than any other published state-of-the-art ensemble model in the official DeepGlobe Challenge. Moreover, our NL-LinkNet beat the D-LinkNet, the winner of the DeepGlobe challenge, with 43 \% less parameters, less giga floating-point operations per seconds (GFLOPs) and shorter training convergence time. We also present empirical analyses on the proper usages of non-local blocks for the baseline model.

研究动机与目标

• 解决由于感受野较小导致的 CNN 基道路分割中长距离上下文受限的问题。
• 提升在道路被阴影、树木或建筑物部分遮挡的 VHR 卫星图像中道路提取的准确性。
• 开发一种比现有 SOTA 方法更轻量的模型，且不依赖 CRF 等后处理技术。
• 通过实证评估非局部模块位置设置与成对函数设计对道路分割的影响。

提出的方法

• 提出一种非局部模块，通过在所有空间位置上计算加权和来生成特征表示，实现全局上下文建模。
• 在不同阶段（如第 3 或第 4 阶段）将非局部模块集成到 LinkNet 架构中，以增强特征表示，同时不增加模型深度。
• 采用嵌入高斯成对函数计算特征之间的注意力权重，提升对长距离依赖关系的建模能力。
• 使用残差编码器（ResNet-34）作为主干网络，通过跳跃连接保留空间分辨率以实现精确分割。
• 采用端到端训练，结合交叉熵损失与 Dice 损失以优化分割性能。
• 评估多种配置：单个与双非局部模块，以及不同成对函数（点积、高斯、嵌入高斯）。

实验结果

研究问题

• RQ1 与感受野受限的标准 CNN 相比，非局部操作是否能显著提升 VHR 卫星图像中道路分割的准确性？
• RQ2 在神经网络架构中，非局部模块的放置位置对道路提取效果最为关键？
• RQ3 在非局部注意力中，哪种成对函数（如点积、高斯、嵌入高斯）能实现最佳性能？
• RQ4 单个非局部模型是否能在不使用 CRF 等后处理技术的情况下，超越基于集成的 SOTA 模型？
• RQ5 与空洞卷积基模型相比，非局部模块的集成是否能带来更参数高效且收敛更快的模型？

主要发现

• NL-LinkNet 在 DeepGlobe 挑战赛测试集上达到 65.00% 的 mIOU，优于官方第一名解决方案 D-LinkNet，且参数量减少 43%。
• 该模型的 GFLOPs（124.88 B）低于 D-LinkNet（134.45 B GFLOPs）和 PSANet（131.54 B GFLOPs），训练收敛速度更快。
• 在第 4 阶段添加非局部模块（NL4-LinkNet）使 mIOU 相比基线提升 1.33%，而双非局部模块（NL34-LinkNet）实现 1.52% 的提升。
• 嵌入高斯成对函数在所有配置中取得最高 mIOU（64.59%），优于点积函数（64.04%）和高斯函数（64.23%）。
• NL-LinkNet 超越了 DeepGlobe 挑战赛中所有已发表的集成模型，证明单模型可超越集成模型性能，且无需 CRF 优化。
• 可视化对比表明，NL-LinkNet 在复杂城市区域、弯曲道路和环岛等场景中更能有效检测道路，而局部方法因遮挡而失效。