[论文解读] Semantic Flow for Fast and Accurate Scene Parsing

Xiangtai Li, Ansheng You+5 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Neural Network Applications参考文献 73被引用 16

一句话总结

本文提出语义流（Semantic Flow）与流对齐模块（Flow Alignment Module, FAM），以高效地将高层语义特征传递至高分辨率特征图，在场景解析中实现最先进精度与实时推理。该方法在使用ResNet-18时，于Cityscapes数据集上达到26 FPS的推理速度，mIoU达80.4%，优于先前的实时模型，同时保持较低的计算成本。

ABSTRACT

In this paper, we focus on designing effective method for fast and accurate scene parsing. A common practice to improve the performance is to attain high resolution feature maps with strong semantic representation. Two strategies are widely used -- atrous convolutions and feature pyramid fusion, are either computation intensive or ineffective. Inspired by the Optical Flow for motion alignment between adjacent video frames, we propose a Flow Alignment Module (FAM) to learn Semantic Flow between feature maps of adjacent levels, and broadcast high-level features to high resolution features effectively and efficiently. Furthermore, integrating our module to a common feature pyramid structure exhibits superior performance over other real-time methods even on light-weight backbone networks, such as ResNet-18. Extensive experiments are conducted on several challenging datasets, including Cityscapes, PASCAL Context, ADE20K and CamVid. Especially, our network is the first to achieve 80.4\% mIoU on Cityscapes with a frame rate of 26 FPS. The code is available at \url{https://github.com/lxtGH/SFSegNets}.

研究动机与目标

• 解决场景解析中高分辨率空间细节与强语义表征之间的权衡问题。
• 在提升精度的同时降低实时语义分割的计算成本。
• 在不引入大量计算负担的前提下，实现从深层到浅层特征的有效语义特征传播。
• 设计一种即插即用模块，以增强ResNet-18等轻量化主干网络。
• 在多个基准数据集上实现优越的速度-精度权衡。

提出的方法

• 提出语义流（Semantic Flow）作为可微分的流场，用于建模不同分辨率特征图之间的像素级对应关系。
• 引入流对齐模块（FAM），利用学习得到的语义流将高层特征映射到低分辨率特征图。
• 采用网格采样与可微分变形操作实现高效特征对齐，支持端到端训练。
• 将FAM集成至特征金字塔网络（类似FPN）结构中，通过侧向连接实现多尺度特征融合。
• 采用多尺度推理与水平翻转策略，提升测试集上的鲁棒性与mIoU性能。
• 使用TensorRT与CUDA优化算子，以在单GPU设置下优化推理速度。

实验结果

研究问题

• RQ1 可学习的基于流的机制是否能在不增加计算成本的前提下，有效实现从深层到浅层特征的语义知识迁移？
• RQ2 FAM是否能在保持实时推理速度的同时，提升ResNet-18等轻量化主干网络的性能？
• RQ3 语义流是否在精度与效率方面均优于传统的空洞卷积与特征金字塔融合方法？
• RQ4 所提方法是否能在Cityscapes、PASCAL Context、ADE20K与CamVid等多样化数据集上实现良好泛化？
• RQ5 所提方法的速度-精度权衡是否优于现有实时场景解析模型？

主要发现

• SFNet配合ResNet-18在Cityscapes测试集上实现80.4%的mIoU，推理速度达26 FPS，创下实时模型新SOTA记录。
• 采用DF2主干网络时，SFNet在61 FPS下达到77.8% mIoU，在121 FPS下达到74.5% mIoU，展现出优异的速度-精度平衡。
• 使用ResNet-101时，SFNet实现81.8% mIoU，超越DANet（81.5%）的性能，且仅需其33%的推理计算量。
• 与基线相比，FAM在Cityscapes验证集上将mIoU提升2.2%，且在所有类别上均实现稳定增益。
• 在ADE20K与PASCAL Context数据集上，SFNet实现具有竞争力的mIoU，且计算开销极低，展现出广泛适用性。
• 在Cityscapes数据集上，SFNet在精度与GFLOPs效率方面均优于SOTA模型如PSPNet、DenseASPP与BFPNet。