[论文解读] Rethinking U-net Skip Connections for Biomedical Image Segmentation

Frauke Wilm, Jonas Ammeling+4 more|arXiv (Cornell University)|Feb 13, 2024

Medical Image Segmentation Techniques被引用 5

一句话总结

论文量化领域偏移如何影响U-net层，并显示对最上层跳过连接（L1-pruned）在同域内和跨域分割上的改进，覆盖合成与临床数据集。

ABSTRACT

The U-net architecture has significantly impacted deep learning-based segmentation of medical images. Through the integration of long-range skip connections, it facilitated the preservation of high-resolution features. Out-of-distribution data can, however, substantially impede the performance of neural networks. Previous works showed that the trained network layers differ in their susceptibility to this domain shift, e.g., shallow layers are more affected than deeper layers. In this work, we investigate the implications of this observation of layer sensitivity to domain shifts of U-net-style segmentation networks. By copying features of shallow layers to corresponding decoder blocks, these bear the risk of re-introducing domain-specific information. We used a synthetic dataset to model different levels of data distribution shifts and evaluated the impact on downstream segmentation performance. We quantified the inherent domain susceptibility of each network layer, using the Hellinger distance. These experiments confirmed the higher domain susceptibility of earlier network layers. When gradually removing skip connections, a decrease in domain susceptibility of deeper layers could be observed. For downstream segmentation performance, the original U-net outperformed the variant without any skip connections. The best performance, however, was achieved when removing the uppermost skip connection - not only in the presence of domain shifts but also for in-domain test data. We validated our results on three clinical datasets - two histopathology datasets and one magnetic resonance dataset - with performance increases of up to 10% in-domain and 13% cross-domain when removing the uppermost skip connection.

研究动机与目标

• 评估领域偏移如何影响带跳过连接的编码器-解码器CNN在生物医学分割中的表现。
• 利用海林格距离量化固有的逐层领域易感性。
• 评估在领域偏移下逐层跳过连接修剪（L1–L4）对分割性能的影响。
• 在合成数据和三个临床数据集上验证结果（其中两组病理组织切片，一组心脏MR）。
• 在模型开发阶段提供关于跳过连接使用的指南，以提高鲁棒性。

提出的方法

• 通过改变亮度、对比度和饱和度，在合成疟原虫数据集上建模领域偏移。
• 通过在特征图上使用海林格距离，对网络的每一层量化领域偏移。
• 自顶向下修剪跳过连接以创建L1–L4的U-net，并使用ResNet18/34编码器进行训练。
• 在来自合成和临床数据集的同域与跨域测试集上通过IoU评估分割。
• 在三组临床数据集（MS-MF、MS-CCT、MV-MR）上，将修剪变体与基线U-net的性能进行比较。
• 使用预训练的ImageNet编码器，并在50个训练周期内通过交叉熵+Dice损失进行优化。

实验结果

研究问题

• RQ1 领域偏移如何在带跳过连接的U-net架构的编码器各层中表现？
• RQ2 移除跳过连接是否在不牺牲同域性能的前提下提高对领域偏移的鲁棒性？
• RQ3 哪种跳过连接修剪级别（L1–L4）在同域与跨域分割精度之间提供最佳权衡？
• RQ4 研究结果是否在合成数据和多样的临床成像模态（病理组织切片与MRI）中成立？

主要发现

• 较早的网络层比更深层对领域偏移更易受影响，海林格距离测量结果如此。
• 移除最上层跳过连接（L1-pruned）在同域与跨域测试中对所有数据集的IoU均有一致提升。
• 修剪更深层的跳过连接（L2–L4）通常会降低整体性能，尽管在某些情况下可能降低对极强增强的敏感性。
• 在MS-MF、MS-CCT和MV-MR数据上，L1-pruned U-net在同域IoU提升可达10%，跨域IoU提升可达13%。
• 最佳总体性能来自仅移除最上层跳过连接，而非移除所有跳过连接。
• 研究结果提示在模型开发阶段重新考虑跳过连接，并在必要时进行修剪，以提升对领域的鲁棒性。