[论文解读] Recalibrating Fully Convolutional Networks with Spatial and Channel 'Squeeze & Excitation' Blocks

Abhijit Guha Roy, Nassir Navab+1 more|arXiv (Cornell University)|Aug 23, 2018

Advanced Neural Network Applications被引用 13

一句话总结

本文提出空间与通道‘挤压与激励’（SE）模块，用于在全卷积网络（F-CNNs）中重新校准医学图像分割的特征图。通过自适应地重加权特征——在空间维度或通道维度上——SE模块以极低的计算成本增强了有意义的表征，使三个基准数据集上的Dice分数提高了4-9%，同时仅使模型复杂度增加1.5%。

ABSTRACT

In a wide range of semantic segmentation tasks, fully convolutional neural networks (F-CNNs) have been successfully leveraged to achieve state-of-the-art performance. Architectural innovations of F-CNNs have mainly been on improving spatial encoding or network connectivity to aid gradient flow. In this article, we aim towards an alternate direction of recalibrating the learned feature maps adaptively; boosting meaningful features while suppressing weak ones. The recalibration is achieved by simple computational blocks that can be easily integrated in F-CNNs architectures. We draw our inspiration from the recently proposed 'squeeze & excitation' (SE) modules for channel recalibration for image classification. Towards this end, we introduce three variants of SE modules for segmentation, (i) squeezing spatially and exciting channel-wise, (ii) squeezing channel-wise and exciting spatially and (iii) joint spatial and channel 'squeeze & excitation'. We effectively incorporate the proposed SE blocks in three state-of-the-art F-CNNs and demonstrate a consistent improvement of segmentation accuracy on three challenging benchmark datasets. Importantly, SE blocks only lead to a minimal increase in model complexity of about 1.5%, while the Dice score increases by 4-9% in the case of U-Net. Hence, we believe that SE blocks can be an integral part of future F-CNN architectures.

研究动机与目标

• 通过重新校准中间特征图而非仅增强空间编码或连接性，提升全卷积网络（F-CNNs）的语义分割性能。
• 解决F-CNN中对独立空间与通道特征重新校准关注不足的问题，尤其针对细粒度医学分割任务。
• 通过引入空间SE（sSE）和联合空间-通道SE（scSE）变体，将挤压与激励（SE）模块在图像分类中的成功应用扩展至语义分割领域。
• 证明SE模块是一种通用的即插即用组件，可在多种F-CNN架构和医学影像应用中持续提升性能。

提出的方法

• 提出一种新型空间挤压与激励（sSE）模块，沿通道维度压缩特征图并在空间维度上激励，使空间注意力能够聚焦于显著区域。
• 引入一种联合空间与通道挤压与激励（scSE）模块，分别对空间和通道维度的特征进行重新校准，随后通过逐元素最大值融合操作结合。
• 将原始通道维度SE（cSE）模块适配至F-CNN，利用全局平均池化学习通道特定权重，以重加权特征图。
• 将cSE、sSE和scSE模块集成至三种最先进的F-CNN架构（U-Net、ReLayNet和SD-Net）中，实现一致的性能提升。
• 采用最大值融合策略结合空间与通道重新校准的输出，使网络能够动态选择最具信息量的特征重新校准路径。
• 在三个具有挑战性的医学影像任务上验证方法：分别使用MRI、CT和OCT扫描进行全脑、全身体积和视网膜层分割。

实验结果

研究问题

• RQ1 与仅通道重新校准相比，通过挤压与激励实现的空间重新校准是否能提升F-CNN中的分割准确率？
• RQ2 联合集成空间与通道SE模块是否能超越单一组件，进一步增强特征表征？
• RQ3 SE模块是否能无缝集成至现有F-CNN架构中，而无需显著的架构修改或性能下降？
• RQ4 SE模块带来的性能增益是源于模型容量的提升，还是其独特的重新校准动态机制，该机制无法通过更深或更宽的架构实现？
• RQ5 空间与通道注意力图在训练过程中如何演化？它们是否与医学影像中的解剖结构对齐？

主要发现

• 所提出的**空间挤压与激励**（sSE）模块在分割任务中优于原始通道维度SE（cSE）模块，尤其在细粒度解剖结构上表现更优。
• **联合空间-通道SE**（scSE）模块实现了最高的性能增益，在U-Net架构上将Dice分数提高了9%，同时仅使模型复杂度增加1.5%。
• 在MALC数据集上，添加scSE模块使Dice分数从0.771提升至0.867，优于增加一个编码器/解码器模块（复杂度提升33.2%）的方案。
• 深层（如sD-4）的空间激活图在训练过程中动态演化，逐步突出白质和小脑等结构，表明空间注意力学习有效。
• sSE与scSE模块可修正由成像伪影引起的不连续预测，如在视网膜OCT分割中，scSE显著改善了边界界定。
• 空间激励的动态特性表明，网络在训练初期即学会强调解剖边界与结构，且激活模式随训练轮次逐渐精细化。