[论文解读] RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation

Guosheng Lin, Anton Milan+2 more|arXiv (Cornell University)|Nov 20, 2016

Advanced Neural Network Applications参考文献 41被引用 63

一句话总结

RefineNet 是一种多路径精炼网络，通过利用长距离残差连接，将高层语义特征与低层空间细节相结合，实现高分辨率语义分割。通过级联 RefineNet 模块和链式残差池化，该方法在多个数据集上达到最先进性能，包括在 PASCAL VOC 2012 上取得 83.4% 的 mIoU。

ABSTRACT

Recently, very deep convolutional neural networks (CNNs) have shown outstanding performance in object recognition and have also been the first choice for dense classification problems such as semantic segmentation. However, repeated subsampling operations like pooling or convolution striding in deep CNNs lead to a significant decrease in the initial image resolution. Here, we present RefineNet, a generic multi-path refinement network that explicitly exploits all the information available along the down-sampling process to enable high-resolution prediction using long-range residual connections. In this way, the deeper layers that capture high-level semantic features can be directly refined using fine-grained features from earlier convolutions. The individual components of RefineNet employ residual connections following the identity mapping mindset, which allows for effective end-to-end training. Further, we introduce chained residual pooling, which captures rich background context in an efficient manner. We carry out comprehensive experiments and set new state-of-the-art results on seven public datasets. In particular, we achieve an intersection-over-union score of 83.4 on the challenging PASCAL VOC 2012 dataset, which is the best reported result to date.

研究动机与目标

• 解决深度卷积神经网络中因重复池化和步幅操作导致的空间细节丢失问题。
• 通过有效融合深层网络不同阶段的多级特征，实现在高分辨率下的语义分割。
• 克服去卷积上采样和空洞卷积的局限性，后者无法恢复丢失的低层细节或需要过高的计算成本。
• 设计一种训练友好的架构，通过带有恒等映射的残差连接支持端到端学习。
• 通过高效、多尺度的池化机制，改进背景区域的上下文建模。

提出的方法

• 提出一种多路径精炼网络（RefineNet），通过递归精炼模块融合来自编码器多个阶段的特征。
• 采用带有恒等映射的残差连接，以实现通过长距离跳跃连接的有效反向传播。
• 引入链式残差池化，通过逐渐增大感受野的多个池化操作，并利用残差连接和可学习权重进行融合。
• 使用级联的 RefineNet 模块，逐步将粗粒度的高层特征精炼为高分辨率预测结果，利用多尺度特征。
• 支持灵活的架构设计，包括单级、两级或四级级联的 RefineNet 变体，以及多尺度输入处理。
• 使用标准反向传播端到端训练整个网络，利用残差学习稳定训练过程。

实验结果

研究问题

• RQ1 深度网络架构能否有效结合高层语义特征与低层空间细节，以提升高分辨率语义分割性能？
• RQ2 长距离残差连接如何在基于精炼的分割网络中实现有效的端到端训练？
• RQ3 链式残差池化能否在不增加计算成本的前提下高效捕捉大范围上下文信息？
• RQ4 与单路径或浅层精炼方法相比，级联 RefineNet 模块是否能在多种数据集上持续提升性能？
• RQ5 所提出的架构在基准数据集上与现有最先进方法（如 DeepLab）相比，性能提升程度如何？

主要发现

• RefineNet 在 PASCAL VOC 2012 数据集上达到新的最先进 mIoU 为 83.4%，超越此前所有方法，包括 DeepLab。
• 在 NYUDv2 数据集上，采用两尺度输入的四级级联 RefineNet 达到 43.1% mIoU，优于单级 RefineNet（40.3%）和两级版本（40.9%）。
• 在 ADE20K 数据集上，RefineNet-Res152 达到 40.7% mIoU，显著优于基线方法如 FCN-8s（29.4%）和 Cascaded-DilatedNet（34.9%）。
• 四级级联的 RefineNet 变体在准确率与效率之间达到最佳平衡，优于单级或两级网络等简单配置。
• 链式残差池化增强了上下文建模能力，显著提升了在背景区域和复杂场景区域的性能。
• 该模型在多种数据集上泛化能力出色，在包括 Cityscapes、SUN-RGBD 和 Person-Parts 在内的七个公开基准上均取得最先进结果。