[论文解读] Multi-scale Attention U-Net (MsAUNet): A Modified U-Net Architecture for Scene Segmentation

Soham Chattopadhyay, Hritam Basak|arXiv (Cornell University)|Sep 15, 2020

Advanced Neural Network Applications被引用 8

一句话总结

本文提出多尺度注意力U-Net（MsAUNet），一种改进的U-Net架构，通过整合多尺度特征提取与可学习注意力门控机制，聚焦于具有判别性的图像区域，从而提升场景分割性能。该模型在Pascal VOC2012上达到79.88%的mIoU，在ADE20K上达到44.88%的mIoU，采用结合IoU、Dice和加权交叉熵的复合损失函数，实现更快的收敛速度，性能达到当前最优水平。

ABSTRACT

Despite the growing success of Convolution neural networks (CNN) in the recent past in the task of scene segmentation, the standard models lack some of the important features that might result in sub-optimal segmentation outputs. The widely used encoder-decoder architecture extracts and uses several redundant and low-level features at different steps and different scales. Also, these networks fail to map the long-range dependencies of local features, which results in discriminative feature maps corresponding to each semantic class in the resulting segmented image. In this paper, we propose a novel multi-scale attention network for scene segmentation purposes by using the rich contextual information from an image. Different from the original UNet architecture we have used attention gates which take the features from the encoder and the output of the pyramid pool as input and produced out-put is further concatenated with the up-sampled output of the previous pyramid-pool layer and mapped to the next subsequent layer. This network can map local features with their global counterparts with improved accuracy and emphasize on discriminative image regions by focusing on relevant local features only. We also propose a compound loss function by optimizing the IoU loss and fusing Dice Loss and Weighted Cross-entropy loss with it to achieve an optimal solution at a faster convergence rate. We have evaluated our model on two standard datasets named PascalVOC2012 and ADE20k and was able to achieve mean IoU of 79.88% and 44.88% on the two datasets respectively, and compared our result with the widely known models to prove the superiority of our model over them.

研究动机与目标

• 解决标准U-Net架构中因冗余低层特征及长距离依赖建模不足而导致的次优分割问题。
• 通过空洞卷积和金字塔池化融合多尺度上下文信息，提升特征表示能力。
• 通过引入可学习注意力门控机制，动态加权编码器特征与全局上下文信息，增强对相关局部特征的关注。
• 通过融合IoU、Dice和加权交叉熵损失的复合损失函数，加速收敛并提升分割精度。
• 在标准基准数据集Pascal VOC2012和ADE20K上验证模型相较于当前最优方法的优越性。

提出的方法

• 模型采用以DenseNet169为骨干网络的U-Net编码器-解码器结构，用于特征提取。
• 通过空洞卷积和金字塔池化提取多尺度特征，捕获多样化的感受野。
• 引入注意力门控机制，动态加权编码器特征与金字塔池化输出的特征，聚焦于显著区域。
• 注意力门控的输出与前一金字塔池化层的上采样特征拼接，以优化跳跃连接。
• 通过融合IoU损失与Dice损失及加权交叉熵损失，设计复合损失函数，提升训练稳定性和收敛速度。
• 采用自适应优化器（Adam、SGD、RMSProp）进行训练，并通过在学习率和优化器上的大量消融实验，对超参数进行调优。

实验结果

研究问题

• RQ1 多尺度注意力机制是否能通过强调相关局部特征并减少冗余，改善U-Net在场景分割中的特征表示？
• RQ2 将金字塔池化与注意力门控结合，是否能增强语义分割中长距离依赖的建模能力？
• RQ3 结合IoU、Dice和加权交叉熵的复合损失函数，是否能实现比单一损失函数更快的收敛速度和更高的mIoU？
• RQ4 在Pascal VOC2012和ADE20K等标准基准数据集上，所提出的MsAUNet架构相较于当前最优模型的性能表现如何？
• RQ5 为最大化分割精度与收敛速度，骨干网络架构、损失函数与优化器的最佳组合是什么？

主要发现

• MsAUNet在Pascal VOC2012数据集上达到79.88%的平均交并比（mIoU），优于先前的SOTA模型。
• 在ADE20K数据集上，模型mIoU达到44.88%，显著优于使用ResNet骨干网络的PSPNet（43.29%）和EncNet（41.11%）。
• 在Pascal VOC2012上，模型像素准确率达到95.96%；在ADE20K上达到81.41%，表明分割精度较高。
• 复合损失函数显著提升收敛速度与性能，Adam优化器在学习率为1e-4时在两个数据集上均取得最优结果。
• 消融实验表明，Adam优化器配合学习率1e-4（Pascal VOC2012）和1e-5（ADE20K）时，mIoU性能最佳。
• 在ADE20K上的可视化结果表明，MsAUNet生成的分割图更加清晰且准确，尤其在复杂和杂乱场景中表现更优。