[论文解读] Resolution-Aware Design of Atrous Rates for Semantic Segmentation Networks

Bum Jun Kim, Hyeyeon Choi+2 more|arXiv (Cornell University)|Jul 26, 2023

Advanced Neural Network ApplicationsComputer Science被引用 3

一句话总结

本文提出了一种针对语义分割网络中空洞率选择的分辨率感知准则，特别针对空洞空间金字塔池化（ASPP）模块。通过分析分割网络的有效感受野（ERF），作者发现ASPP会引发星形ERF模式，并推导出一个基于输入图像尺寸和特征图步长的最优空洞率公式，从而在Cityscapes、STARE和iSAID等多个数据集上实现一致的mIoU性能提升。

ABSTRACT

DeepLab is a widely used deep neural network for semantic segmentation, whose success is attributed to its parallel architecture called atrous spatial pyramid pooling (ASPP). ASPP uses multiple atrous convolutions with different atrous rates to extract both local and global information. However, fixed values of atrous rates are used for the ASPP module, which restricts the size of its field of view. In principle, atrous rate should be a hyperparameter to change the field of view size according to the target task or dataset. However, the manipulation of atrous rate is not governed by any guidelines. This study proposes practical guidelines for obtaining an optimal atrous rate. First, an effective receptive field for semantic segmentation is introduced to analyze the inner behavior of segmentation networks. We observed that the use of ASPP module yielded a specific pattern in the effective receptive field, which was traced to reveal the module's underlying mechanism. Accordingly, we derive practical guidelines for obtaining the optimal atrous rate, which should be controlled based on the size of input image. Compared to other values, using the optimal atrous rate consistently improved the segmentation results across multiple datasets, including the STARE, CHASE_DB1, HRF, Cityscapes, and iSAID datasets.

研究动机与目标

• 为解决ASPP模块中固定空洞率（如{6,12,18}）的局限性，这些固定值会限制感受野（FoV）大小，而与输入分辨率无关。
• 通过有效感受野（ERF）分析，探究ASPP模块在语义分割网络中的内部行为。
• 推导出实用的、与分辨率相关的空洞率选择准则，以实现感受野与输入图像尺寸的最佳对齐。
• 验证最优空洞率在多种数据集和主干网络架构（包括CNN和视觉Transformer）上的一致性能增益。

提出的方法

• 为语义分割引入像素级有效感受野（ERF）公式，定义为输入像素对中心输出单元的梯度贡献。
• 可视化多种分割模型（如DeepLab、UperNet、SETR）的ERF，观察架构模式，发现ASPP的并行空洞卷积导致星形ERF模式。
• 通过将ERF建模为二维高斯分布，提取其标准差和中心坐标，量化ASPP的FoV大小。
• 推导出最优空洞率 $ r^* $ 的闭式表达式，作为输入分辨率 $ l $ 和输出步长 $ s $ 的函数，公式为 $ r^* = \left\lfloor \frac{l}{2s} \right\rfloor $。
• 使用mIoU作为指标，在多个数据集（Cityscapes、STARE、HRF、iSAID、ADE20K）和模型（ResNet、ViT、Swin、SegFormer）上评估所提出的 $ r^* $。
• 使用LMfit库将ERF拟合为二维高斯分布，以一致量化ERF的宽度和中心偏移。

Figure 1 : $3\times 3$ vanilla convolution uses nine adjoint features (shown in blue on the left), whereas $3\times 3$ atrous convolution with an atrous rate of 2 uses nine distant features with one feature in between (shown in blue on the right).

实验结果

研究问题

• RQ1 ASPP模块如何影响语义分割网络中的空间感受野结构？
• RQ2 ASPP配置网络中观察到的星形ERF模式背后的机制是什么？
• RQ3 如何基于输入图像尺寸和网络步长系统性地控制ASPP模块的感受野（FoV）大小？
• RQ4 使用分辨率感知的空洞率是否能在多种数据集和主干网络架构上带来一致的性能提升？

主要发现

• 由于不同空洞率的空洞卷积对称排列，ASPP模块会引发星形ERF模式，导致特征图上各区域影响不均匀。
• ASPP模块的有效感受野（FoV）大小由ERF的展宽程度定量决定，可建模为具有底部偏移中心和更宽水平范围的二维高斯分布。
• 所推导的最优空洞率 $ r^* = \left\lfloor \frac{l}{2s} \right\rfloor $，通过实现感受野与输入分辨率的对齐，在所有评估的数据集和模型上均一致提升了mIoU。
• 在使用ViT-L/16主干的SETR模型上，Cityscapes数据集上的实验表明，所提出的 $ r^* = 8 $ 相比基线实现+0.34%的mIoU提升，优于从1到12的所有其他测试空洞率。
• 基于Transformer的模型（如SegFormer和SETR）尽管具备全局自注意力机制，但其ERF仍表现出小范围、局部化的特征，表明即使在注意力机制架构中，局部归纳偏置依然至关重要。
• ViT-based模型的ERF呈现分块的二维高斯分布模式，而Swin-based模型则表现出平滑连续的ERF，这是由于局部窗口注意力机制和特征融合所致。

(a) DeepLabV3 with R-18, $s=8$