[论文解读] Revisiting Multi-Scale Feature Fusion for Semantic Segmentation

Tianjian Meng, Golnaz Ghiasi+3 more|arXiv (Cornell University)|Mar 23, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 ESeg，一种简化的语义分割模型，在不依赖高分辨率特征或昂贵的空洞卷积的情况下实现了最先进（SOTA）的精度。通过将多尺度特征空间扩展至 $P_9$，并采用双向 BiFPN 进行特征融合，ESeg 在 CityScapes 上实现了 189 FPS 下 76.0% 的 mIoU，优于 FasterSeg 在速度与精度上的表现，证明了通过精简架构即可实现高效且高性能的语义分割。

ABSTRACT

It is commonly believed that high internal resolution combined with expensive operations (e.g. atrous convolutions) are necessary for accurate semantic segmentation, resulting in slow speed and large memory usage. In this paper, we question this belief and demonstrate that neither high internal resolution nor atrous convolutions are necessary. Our intuition is that although segmentation is a dense per-pixel prediction task, the semantics of each pixel often depend on both nearby neighbors and far-away context; therefore, a more powerful multi-scale feature fusion network plays a critical role. Following this intuition, we revisit the conventional multi-scale feature space (typically capped at P5) and extend it to a much richer space, up to P9, where the smallest features are only 1/512 of the input size and thus have very large receptive fields. To process such a rich feature space, we leverage the recent BiFPN to fuse the multi-scale features. Based on these insights, we develop a simplified segmentation model, named ESeg, which has neither high internal resolution nor expensive atrous convolutions. Perhaps surprisingly, our simple method can achieve better accuracy with faster speed than prior art across multiple datasets. In real-time settings, ESeg-Lite-S achieves 76.0% mIoU on CityScapes [12] at 189 FPS, outperforming FasterSeg [9] (73.1% mIoU at 170 FPS). Our ESeg-Lite-L runs at 79 FPS and achieves 80.1% mIoU, largely closing the gap between real-time and high-performance segmentation models.

研究动机与目标

• 挑战主流观点，即认为高内部分辨率和空洞卷积对准确语义分割至关重要。
• 探究更丰富的多尺度特征空间与改进的特征融合是否可替代空洞卷积等昂贵组件。
• 开发一种更简单、更快、更高效的分割模型，同时保持或超越 SOTA 性能。
• 弥合实时与高精度分割模型之间的性能差距。

提出的方法

• 将传统的多尺度特征空间从 $P_5$ 扩展至 $P_9$，其中最小的特征为输入尺寸的 $1/512$，从而实现大感受野。
• 采用轻量级编码器-解码器结构，使用现成的 EfficientNet 作为编码器，解码器则采用改进的 BiFPN。
• 利用 BiFPN 实现双向特征融合，结合自顶向下与自底向上路径，增强跨尺度的特征整合。
• 完全避免使用空洞卷积和高分辨率特征图，从而降低计算成本与内存占用。
• 通过在大规模数据集（如 Mapillary Vistas）上进行自训练与预训练，提升在 CityScapes 上的性能。
• 通过最小化 FLOPs 与模型大小，同时最大化 mIoU，优化推理效率。

实验结果

研究问题

• RQ1 语义分割是否可以在不依赖高分辨率特征或空洞卷积的情况下实现 SOTA 精度？
• RQ2 将多尺度特征空间扩展至 $P_9$ 对特征表示与分割精度有何影响？
• RQ3 在丰富的多尺度设置下，类似 BiFPN 的双向特征融合机制是否能优于传统的自顶向下或跳跃连接？
• RQ4 在组件极少的情况下，简单的编码器-解码器架构在多大程度上可匹配或超越复杂的 SOTA 模型？
• RQ5 在大规模数据集上进行自训练与预训练，是否能进一步缩小实时与高性能分割模型之间的差距？

主要发现

• ESeg-Lite-S 在 CityScapes 上以 189 FPS 实现 76.0% 的 mIoU，精度与速度均优于 FasterSeg（73.1% mIoU，170 FPS）。
• ESeg-Lite-L 在 79 FPS 下实现 80.1% 的 mIoU，显著缩小了实时与高精度模型之间的性能差距。
• ESeg 模型的参数量为竞争方法的 2× 至 9×，FLOPs 为 4× 至 50×，但精度保持或超越后者。
• 在 Mapillary Vistas 上进行预训练，并在 CityScapes 的粗标签数据上进行自训练后，ESeg-L 在 CityScapes 上实现 84.8% 的 mIoU，创下单模型、单尺度的 SOTA 记录。
• BiFPN 在使用或不使用空洞卷积的情况下均优于 DeepLabV3+，证明特征融合架构的重要性超过昂贵模块。
• 消融实验确认，当结合强大的多尺度融合机制时，高分辨率特征不仅成本高昂，而且并非必要。