[论文解读] RRA-U-Net: a Residual Encoder to Attention Decoder by Residual Connections Framework for Spine Segmentation under Noisy Labels

Ziyang Wang, Zhengdong Zhang+1 more|arXiv (Cornell University)|Sep 27, 2020

Medical Imaging and Analysis参考文献 19被引用 4

一句话总结

本文提出RRA-U-Net，一种基于U-Net的框架，采用残差编码器、基于残差块的跳跃连接、注意力模块以及自适应干净-噪声标签学习策略（ACNLL），用于在标签噪声条件下进行脊柱分割。该方法通过有效缓解特征分布偏移并提高对标签噪声的鲁棒性，在公开的脊柱CT数据集上实现了最先进性能。

ABSTRACT

Segmentation algorithms of medical image volumes are widely studied for many clinical and research purposes. We propose a novel and efficient framework for medical image segmentation. The framework functions under a deep learning paradigm, incorporating four novel contributions. Firstly, a residual interconnection is explored in different scale encoders. Secondly, four copy and crop connections are replaced to residual-block-based concatenation to alleviate the disparity between encoders and decoders, respectively. Thirdly, convolutional attention modules for feature refinement are studied on all scale decoders. Finally, an adaptive clean noisy label learning strategy(ACNLL) based on the training process from underfitting to overfitting is studied. Experimental results are illustrated on a publicly available benchmark database of spine CTs. Our segmentation framework achieves competitive performance with other state-of-the-art methods over a variety of different evaluation measures.

研究动机与目标

• 为解决在标签噪声条件下训练鲁棒医学图像分割模型的挑战。
• 减少U-Net架构中编码器与解码器特征之间的特征分布差异。
• 通过卷积注意力模块增强解码器中的特征精炼。
• 开发一种训练策略，通过利用从欠拟合到过拟合的过渡过程，自适应地应对标签噪声。
• 在存在标签噪声的情况下，实现在脊柱CT分割任务上的最先进性能。

提出的方法

• 在多个尺度的编码器之间引入残差连接，以稳定特征学习并改善梯度流动。
• 用基于残差块的连接替代传统的复制-裁剪跳跃连接，以减少编码器与解码器之间特征分布的不匹配。
• 在所有解码器阶段引入卷积注意力模块，以精炼特征并突出显示相关解剖结构。
• 提出一种自适应干净-噪声标签学习（ACNLL）策略，根据从欠拟合到过拟合的训练动态，动态调整学习过程。
• 采用融合注意力引导监督与噪声感知优化的损失函数，端到端训练模型。
• 利用公开的脊柱CT数据集，在真实噪声标签条件下验证该框架。

实验结果

研究问题

• RQ1 在标签噪声条件下，编码器尺度间的残差连接在多大程度上改善了脊柱分割的特征表示？
• RQ2 基于残差块的跳跃连接在多大程度上减少了编码器与解码器之间特征分布的差距？
• RQ3 在所有解码器阶段引入注意力模块是否能提升分割精度并增强对噪声标签的鲁棒性？
• RQ4 在噪声标签环境下，ACNLL策略在训练过程中识别干净样本的有效性如何？
• RQ5 所提出的框架是否在存在噪声标签的脊柱CT分割任务中优于现有最先进方法？

主要发现

• RRA-U-Net框架在公开脊柱CT基准数据集上，于多个评估指标上均实现了具有竞争力的分割性能。
• 采用基于残差块的跳跃连接显著减少了编码器与解码器特征之间的特征分布差异。
• 所有解码器阶段的注意力模块提升了特征精炼效果，从而实现了更精确的边界预测。
• ACNLL策略在训练过程中有效识别并优先处理干净样本，增强了在噪声标签下的模型泛化能力。
• 该框架对标签噪声表现出强鲁棒性，即使在标签不完美时仍能保持高性能。