[论文解读] Transformer Meets Convolution: A Bilateral Awareness Network for Semantic Segmentation of Very Fine Resolution Urban Scene Images

Libo Wang, Rui Li+4 more|arXiv (Cornell University)|Jun 23, 2021

Automated Road and Building Extraction参考文献 55被引用 9

一句话总结

该论文提出了一种新型架构——双边感知网络（BANet），通过融合基于Transformer的长距离依赖建模与卷积特征提取，以提升超精细分辨率（VFR）城市场景图像的语义分割性能。通过将基于ResT的依赖路径与堆叠卷积纹理路径结合，并引入线性注意力融合模块，BANet在UAVid数据集上实现了64.6%的mIoU，展现出在大规模城市分割基准上的最先进性能。

ABSTRACT

Semantic segmentation from very fine resolution (VFR) urban scene images plays a significant role in several application scenarios including autonomous driving, land cover classification, and urban planning, etc. However, the tremendous details contained in the VFR image, especially the considerable variations in scale and appearance of objects, severely limit the potential of the existing deep learning approaches. Addressing such issues represents a promising research field in the remote sensing community, which paves the way for scene-level landscape pattern analysis and decision making. In this paper, we propose a Bilateral Awareness Network which contains a dependency path and a texture path to fully capture the long-range relationships and fine-grained details in VFR images. Specifically, the dependency path is conducted based on the ResT, a novel Transformer backbone with memory-efficient multi-head self-attention, while the texture path is built on the stacked convolution operation. Besides, using the linear attention mechanism, a feature aggregation module is designed to effectively fuse the dependency features and texture features. Extensive experiments conducted on the three large-scale urban scene image segmentation datasets, i.e., ISPRS Vaihingen dataset, ISPRS Potsdam dataset, and UAVid dataset, demonstrate the effectiveness of our BANet. Specifically, a 64.6% mIoU is achieved on the UAVid dataset. Code is available at https://github.com/WangLibo1995/GeoSeg.

研究动机与目标

• 为解决在极端尺度与外观变化显著的超精细分辨率（VFR）城市场景图像中，现有深度学习模型难以实现语义分割的挑战。
• 克服当前模型在高分辨率遥感图像中同时捕捉长距离上下文依赖与细粒度局部细节方面的局限性。
• 设计一种统一的网络架构，有效整合Transformer与卷积神经网络的优势，以提升城市环境中场景级理解能力。
• 在大规模真实世界城市分割数据集（包括ISPRS Vaihingen、Potsdam和UAVid）上验证所提方法的有效性。

提出的方法

• 网络采用双路径设计：基于ResT的依赖路径，一种内存高效的Transformer主干网络，具备多头自注意力机制，用于建模长距离空间依赖。
• 另设一个纹理路径，通过堆叠卷积层构建，以保留并提取VFR图像中的细粒度局部特征。
• 引入基于线性注意力的特征聚合模块，以高效融合来自依赖路径与纹理路径的特征，在降低计算成本的同时保持性能。
• 融合机制动态关注两条路径的互补表征，增强下游分割任务的特征表示能力。
• 模型在三个大规模城市分割数据集上进行端到端训练，采用标准交叉熵损失与Dice损失目标函数。
• 架构针对高分辨率输入进行了优化，包含空间下采样与特征精炼模块，以保持分辨率与细节完整性。

实验结果

研究问题

• RQ1 结合Transformer与卷积的双路径网络是否能提升在超精细分辨率城市场景图像上的语义分割准确率？
• RQ2 如ResT这类内存高效的Transformer主干网络，在高分辨率遥感数据中能否有效捕捉长距离依赖？
• RQ3 将长距离依赖特征与局部纹理特征融合，能在多大程度上提升在复杂城市场景中的分割性能？
• RQ4 所提出的基于线性注意力的融合机制是否在特征集成方面优于标准的拼接或逐元素运算？

主要发现

• BANet在UAVid数据集上实现了64.6%的平均交并比（mIoU），创下超精细分辨率城市场景语义分割的新SOTA性能。
• 该模型在ISPRS Vaihingen与Potsdam数据集上也表现出优越性能，证实其在多样化城市环境与图像分辨率下的泛化能力。
• 消融实验表明，依赖路径（ResT）与纹理路径（卷积）均对最终性能有显著贡献，验证了双路径设计的有效性。
• 线性注意力融合模块在降低计算复杂度的同时保持了高质量的特征表示，使模型在高分辨率输入下仍具高效性。
• Transformer与卷积的融合使模型能更好地应对城市场景中尺度变化与物体外观多样性问题。
• 该模型在不同城市数据集间表现出良好的泛化能力，表明其对遥感图像中领域偏移具有鲁棒性。