[论文解读] S$^2$-FPN: Scale-ware Strip Attention Guided Feature Pyramid Network for Real-time Semantic Segmentation

Mohammed A. M. Elhassan, Chenhui Yang+5 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Neural Network Applications被引用 13

一句话总结

该论文提出S²-FPN，一种轻量级、实时语义分割网络，通过使用尺度感知条状注意力和基于注意力的特征金字塔融合模块，增强多尺度特征表示的同时降低计算成本。该方法实现了最先进的准确率/速度权衡，在Cityscapes上达到77.8% mIoU（30.5 FPS），在Camvid上达到74.2% mIoU（55.5 FPS），通过高效注意力机制和特征融合策略实现实时性能。

ABSTRACT

Modern high-performance semantic segmentation methods employ a heavy backbone and dilated convolution to extract the relevant feature. Although extracting features with both contextual and semantic information is critical for the segmentation tasks, it brings a memory footprint and high computation cost for real-time applications. This paper presents a new model to achieve a trade-off between accuracy/speed for real-time road scene semantic segmentation. Specifically, we proposed a lightweight model named Scale-aware Strip Attention Guided Feature Pyramid Network (S$^2$-FPN). Our network consists of three main modules: Attention Pyramid Fusion (APF) module, Scale-aware Strip Attention Module (SSAM), and Global Feature Upsample (GFU) module. APF adopts an attention mechanisms to learn discriminative multi-scale features and help close the semantic gap between different levels. APF uses the scale-aware attention to encode global context with vertical stripping operation and models the long-range dependencies, which helps relate pixels with similar semantic label. In addition, APF employs channel-wise reweighting block (CRB) to emphasize the channel features. Finally, the decoder of S$^2$-FPN then adopts GFU, which is used to fuse features from APF and the encoder. Extensive experiments have been conducted on two challenging semantic segmentation benchmarks, which demonstrate that our approach achieves better accuracy/speed trade-off with different model settings. The proposed models have achieved a results of 76.2\%mIoU/87.3FPS, 77.4\%mIoU/67FPS, and 77.8\%mIoU/30.5FPS on Cityscapes dataset, and 69.6\%mIoU,71.0\% mIoU, and 74.2\% mIoU on Camvid dataset. The code for this work will be made available at \url{https://github.com/mohamedac29/S2-FPN

研究动机与目标

• 解决高性能语义分割模型在实时应用中计算成本高和内存占用大的问题。
• 通过减少特征金字塔网络中不同特征层级之间的语义差距，改善多尺度特征表示。
• 设计一种高效的注意力机制，以最小的计算开销建模长距离依赖关系。
• 通过轻量化架构和有效的特征融合，实现优越的准确率/速度权衡，用于实时道路场景分割。
• 通过消融实验和基准比较验证尺度感知条状注意力与注意力金字塔融合的有效性。

提出的方法

• 提出尺度感知条状注意力模块（SSAM），通过垂直条状操作和尺度感知注意力，高效建模长距离依赖关系。
• 引入注意力金字塔融合（APF）模块，利用通道重加权和注意力机制融合多尺度特征，以减少语义差距。
• 采用全局特征上采样（GFU）模块，将编码器与解码器特征结合，提升分割输出质量。
• 使用轻量化主干网络（如ResNet18/34）结合S²-FPN头部，以保持高推理速度。
• 通过使用垂直条状操作替代完整注意力图，实现空间与通道注意力，显著降低FLOPs。
• 通过输入分辨率控制和步长调整优化网络，平衡精度与速度。

实验结果

研究问题

• RQ1 轻量级注意力机制是否能以极低计算成本有效建模语义分割中的长距离依赖？
• RQ2 与标准FPN或横向连接相比，尺度感知条状注意力在多尺度特征融合方面有何改进？
• RQ3 注意力金字塔融合（APF）模块在多尺度特征金字塔中在多大程度上减少了特征层级间的语义差距？
• RQ4 S²-FPN在Cityscapes和Camvid等标准基准上实现了怎样的准确率/速度权衡？
• RQ5 将第2阶段的步长替换为1是否能在不显著增加推理时间的前提下提升性能？

主要发现

• 使用ResNet18时，S²-FPN在Cityscapes上实现76.2% mIoU（87.3 FPS），展现出优异的速度-精度权衡。
• 使用ResNet34时，模型达到77.4% mIoU（67 FPS），在适度牺牲速度的前提下实现更高的精度。
• S²-FPN34M变体通过将第2阶段的步长替换为1，实现77.8% mIoU（30.5 FPS），表明架构优化带来显著性能提升。
• 在Camvid上，S²-FPN18实现69.6% mIoU（124.2 FPS），而S²-FPN34M达到74.2% mIoU（55.5 FPS），优于先前的轻量化模型。
• 消融实验表明，尺度感知条状注意力和APF模块均对性能提升有显著贡献。
• 在mIoU方面，该模型优于SOTA方法如BiSeNetV2和STDC-Seg，同时保持了具有竞争力的推理速度。