[论文解读] Transformer Meets DCFAM: A Novel Semantic Segmentation Scheme for Fine-Resolution Remote Sensing Images.

Libo Wang, Rui Li+2 more|arXiv (Cornell University)|Apr 25, 2021

Remote-Sensing Image Classification被引用 2

一句话总结

该论文提出了一种用于高分辨率遥感图像的新型语义分割框架，通过用Swin Transformer替换标准的ResNet主干网络，以更好地捕捉长距离上下文信息，并在解码器中引入一种密集连接的特征聚合模块（DCFAM），以恢复高分辨率特征。在两个数据集上的实验表明，该方法在性能上显著优于现有的FCN-based方法。

ABSTRACT

The fully-convolutional network (FCN) with an encoder-decoder architecture has become the standard paradigm for semantic segmentation. The encoder-decoder architecture utilizes an encoder to capture multi-level feature maps, which are then incorporated into the final prediction by a decoder. As the context is critical for precise segmentation, tremendous effort has been made to extract such information in an intelligent manner, including employing dilated/atrous convolutions or inserting attention modules. However, the aforementioned endeavors are all based on the FCN architecture with ResNet backbone which cannot tackle the context issue from the root. By contrast, we introduce the Swin Transformer as the backbone to fully extract the context information and design a novel decoder named densely connected feature aggregation module (DCFAM) to restore the resolution and generate the segmentation map. The extensive experiments on two datasets demonstrate the effectiveness of the proposed scheme.

研究动机与目标

• 为解决传统FCN-based模型在捕捉高分辨率遥感图像中长距离上下文依赖方面的局限性。
• 克服基于ResNet的主干网络在语义分割中固有的上下文恢复约束。
• 设计一种新型解码器模块，以有效融合多级特征，同时恢复高分辨率空间细节。
• 通过增强的特征表示与聚合方法，提升在高分辨率遥感图像上的分割精度。

提出的方法

• 采用Swin Transformer作为主干网络，以捕捉遥感图像中的全局与分层上下文表征。
• 在解码器中引入密集连接的特征聚合模块（DCFAM），以逐步优化和融合多尺度特征。
• 通过密集连接增强的跳跃连接机制，在上采样过程中保留空间细节。
• 利用Swin Transformer中的移位窗口自注意力机制，高效建模局部窗口间的长距离依赖。
• 在解码器中采用多阶段特征优化策略，以恢复高分辨率分割图。
• 使用交叉熵损失函数，并结合遥感图像分割的标准数据增强方法，进行端到端训练。

实验结果

研究问题

• RQ1 将ResNet主干替换为Swin Transformer是否能显著提升高分辨率遥感图像语义分割中的上下文建模能力？
• RQ2 与传统的上采样和跳跃连接策略相比，所提出的DCFAM解码器在恢复高分辨率特征方面的有效性如何？
• RQ3 在编码器中集成自注意力机制是否能为复杂遥感场景带来更好的特征表示？
• RQ4 所提出方法在基准遥感图像分割数据集上与最先进FCN-based模型相比表现如何？

主要发现

• 所提方法在两个公开遥感图像数据集上实现了优越的分割精度，显著优于现有FCN-based模型。
• 采用Swin Transformer作为主干网络显著提升了长距离上下文信息的捕捉能力。
• DCFAM解码器有效增强了特征融合与空间细节恢复，有助于生成更高分辨率的分割图。
• 该模型在具有细粒度目标与纹理的复杂遥感场景中表现出稳健的性能。
• 定量结果表明，与基线模型相比，mIoU（平均交并比）实现了持续提升。