[论文解读] Sharp U-Net: Depthwise Convolutional Network for Biomedical Image Segmentation

Hasib Zunair, A. Ben Hamza|arXiv (Cornell University)|Jul 26, 2021

AI in cancer detection被引用 5

一句话总结

本文提出Sharp U-Net，一种深度可分离卷积U-Net变体，在跳跃连接融合前对编码器特征应用锐化空间滤波器，从而减少低层次与高层次特征之间的特征不匹配。该方法在不增加可学习参数的情况下提升了生物医学图像分割的准确性，在六个数据集上优于最先进模型，Dice分数提升最高达12.6%。

ABSTRACT

The U-Net architecture, built upon the fully convolutional network, has proven to be effective in biomedical image segmentation. However, U-Net applies skip connections to merge semantically different low- and high-level convolutional features, resulting in not only blurred feature maps, but also over- and under-segmented target regions. To address these limitations, we propose a simple, yet effective end-to-end depthwise encoder-decoder fully convolutional network architecture, called Sharp U-Net, for binary and multi-class biomedical image segmentation. The key rationale of Sharp U-Net is that instead of applying a plain skip connection, a depthwise convolution of the encoder feature map with a sharpening kernel filter is employed prior to merging the encoder and decoder features, thereby producing a sharpened intermediate feature map of the same size as the encoder map. Using this sharpening filter layer, we are able to not only fuse semantically less dissimilar features, but also to smooth out artifacts throughout the network layers during the early stages of training. Our extensive experiments on six datasets show that the proposed Sharp U-Net model consistently outperforms or matches the recent state-of-the-art baselines in both binary and multi-class segmentation tasks, while adding no extra learnable parameters. Furthermore, Sharp U-Net outperforms baselines that have more than three times the number of learnable parameters.

研究动机与目标

• 解决由于融合语义差异较大的低层次与高层次特征而导致的U-Net中特征图模糊及过/欠分割问题。
• 通过空间锐化减少编码器与解码器特征之间的语义差距，改进U-Net中的特征融合。
• 在不增加模型复杂度的前提下，提升二值和多类别生物医学图像分割任务的分割性能。
• 为U-Net提供一种轻量化、无参数的增强方法，改善特征表示并抑制早期训练中的伪影。

提出的方法

• 在跳跃连接融合前，对编码器特征图应用具有固定锐化核的深度可分离卷积。
• 对每个通道独立应用空间锐化滤波器，以突出早期特征中的细粒度细节。
• 通过保持与编码器输出相同的空间尺寸，在融合过程中保留特征图分辨率。
• 使用预定义的、不可学习的锐化核，以平滑伪影并提升早期训练中特征的一致性。
• 保持标准U-Net的编码器-解码器架构，但将标准跳跃连接替换为经过锐化的特征融合。
• 采用标准损失函数（如Jaccard距离）并进行端到端训练，不增加架构或参数开销。

实验结果

研究问题

• RQ1 在跳跃连接融合前对编码器特征应用空间锐化滤波器，是否能减少特征不匹配并提升分割精度？
• RQ2 所提出的锐化机制是否能减少生物医学图像分割中的模糊特征图及过/欠分割伪影？
• RQ3 一个不可学习的、深度可分离的锐化层是否能在不增加可学习参数数量的情况下提升性能？
• RQ4 Sharp U-Net在多种生物医学图像数据集上与参数量显著更多的最先进模型相比表现如何？

主要发现

• 在CVC-ClinicDB结肠镜图像数据集上，Sharp U-Net的Dice分数提升了12.6%，显著优于U-Net及其他基线模型。
• 在ISBI-2012数据集上，Sharp U-Net的Dice分数提升了3.63%，即使在前景类别不平衡的情况下也表现优异。
• 在包括电子显微镜、内窥镜、皮肤镜、细胞核、CT和肺部分割在内的六个多样化生物医学图像数据集中，该模型始终优于或匹配最先进模型。
• 尽管未增加任何可学习参数，Sharp U-Net在多个基准测试中仍超越了参数量超过三倍的模型。
• Grad-CAM可视化结果表明，Sharp U-Net在深层解码器层产生更准确且更局部化的激活，与真实掩码对齐更好。
• 锐化滤波器有助于在早期训练中抑制伪影，从而在整个网络中实现更稳定、更精细的特征学习。