[论文解读] Stacked U-Nets: A No-Frills Approach to Natural Image Segmentation

Sohil Shah, Pallabi Ghosh+2 more|arXiv (Cornell University)|Apr 27, 2018

Advanced Neural Network Applications参考文献 44被引用 33

一句话总结

该论文提出了一种轻量级、深层的结构——堆叠U-Net（SUNets），通过在多个U-Net模块间迭代融合多尺度特征，实现在保留高分辨率空间细节的同时全局化上下文信息，从而实现自然图像分割的最先进性能。在PASCAL VOC 2012数据集上，SUNets的mIoU比ResNet-101高出4.5%，且参数量仅为其约1/7，通过用更深、更参数高效的U-Net单元堆叠替代复杂的辅助模块实现这一性能提升。

ABSTRACT

Many imaging tasks require global information about all pixels in an image. Conventional bottom-up classification networks globalize information by decreasing resolution; features are pooled and downsampled into a single output. But for semantic segmentation and object detection tasks, a network must provide higher-resolution pixel-level outputs. To globalize information while preserving resolution, many researchers propose the inclusion of sophisticated auxiliary blocks, but these come at the cost of a considerable increase in network size and computational cost. This paper proposes stacked u-nets (SUNets), which iteratively combine features from different resolution scales while maintaining resolution. SUNets leverage the information globalization power of u-nets in a deeper network architectures that is capable of handling the complexity of natural images. SUNets perform extremely well on semantic segmentation tasks using a small number of parameters.

研究动机与目标

• 为解决在自然图像分割中同时保留高分辨率空间细节与捕捉长距离上下文信息的挑战。
• 降低现有分割模型的计算与参数负担，这些模型依赖于复杂的辅助上下文模块或深层分类主干网络。
• 在不增加模型大小或推理成本的前提下，提升语义分割任务的性能。
• 探究堆叠U-Net模块是否能生成优于单个U-Net或带有辅助头的深层分类网络的特征表示。

提出的方法

• 通过在深层架构中堆叠多个U-Net模块构建堆叠U-Net（SUNets），实现不同分辨率层级间特征的迭代融合。
• 每个U-Net模块通过编码（使用步长大于1的卷积下采样）和解码（使用转置卷积上采样）操作，在保留空间分辨率的同时整合上下文信息。
• 该架构避免使用空洞卷积和多网格策略，转而采用步长大于1的卷积后接去网格化层，以减少网格化伪影。
• 在编码器与解码器路径之间，通过跳跃连接将特征图在每一层进行拼接，以保留空间细节并增强表征能力。
• 训练过程中使用标准交叉熵损失，并在推理阶段采用多尺度推理以提升鲁棒性。
• 一种变体SUNet-7-128采用7个堆叠的U-Net模块，每层128个滤波器，在参数量极低的情况下实现了高性能。

实验结果

研究问题

• RQ1 由堆叠U-Net模块构成的更深架构是否能在自然图像语义分割任务中超越标准U-Net和基于ResNet的模型？
• RQ2 在保持高分辨率输出的同时，若摒弃复杂的辅助上下文模块（如ASPP、CRF），是否能实现更高的效率与性能？
• RQ3 一种轻量级、参数高效的架构在不依赖重型预训练主干网络的前提下，能在PASCAL VOC 2012上实现多大程度的最先进mIoU表现？
• RQ4 与单个U-Net或深层分类网络相比，U-Net模块的堆叠对特征表示与泛化能力有何影响？

主要发现

• SUNet-7-128在Cityscapes测试集上达到84.3%的mIoU，优于包括RefineNet-ResNet152和DeepLabv2+CRF在内的多个最先进模型。
• 在PASCAL VOC 2012上，SUNet-7-128在测试集上达到83.34%的mIoU，比ResNet-101高出4.5%的mIoU，且参数量仅为其约1/7。
• 该模型仅使用250万个参数，相比PSPNet（多出3000万个参数）及其他依赖辅助模块的模型，参数量显著减少。
• 定性结果表明，SUNets生成的分割图具有一致性与清晰度，尤其在使用去网格化层时，网格化伪影显著减少。
• 该架构在多样化的自然图像分布上表现出良好的泛化能力，这从其在PASCAL VOC 2012和Cityscapes基准上的优异表现中得到验证。
• 消融实验确认，与空洞卷积相比，使用步长大于1的卷积配合去网格化层在特征图一致性与分割质量方面表现更优。