[论文解读] Recurrent U-net for automatic pelvic floor muscle segmentation on 3D ultrasound

Frieda van den Noort, Beril Sırmaçek+1 more|arXiv (Cornell University)|Jul 29, 2021

Pelvic floor disorders treatments参考文献 48被引用 4

一句话总结

该论文提出了一种循环U-Net（RU-Net）架构，将卷积长短期记忆（CLSTM）单元整合到2D U-Net中，以实现3D上下文学习，用于3D经会阴超声（TPUS）图像中提肛肌（LAM）的自动分割。该方法在分割性能上与人工观察者之间的手动分割水平相当，显著优于标准2D U-Net在3D TPUS数据上的表现。

ABSTRACT

The prevalance of pelvic floor problems is high within the female population. Transperineal ultrasound (TPUS) is the main imaging modality used to investigate these problems. Automating the analysis of TPUS data will help in growing our understanding of pelvic floor related problems. In this study we present a U-net like neural network with some convolutional long short term memory (CLSTM) layers to automate the 3D segmentation of the levator ani muscle (LAM) in TPUS volumes. The CLSTM layers are added to preserve the inter-slice 3D information. We reach human level performance on this segmentation task. Therefore, we conclude that we successfully automated the segmentation of the LAM on 3D TPUS data. This paves the way towards automatic in-vivo analysis of the LAM mechanics in the context of large study populations.

研究动机与目标

• 为解决在3D经会阴超声（TPUS）图像中准确分割提肛肌（LAM）的挑战，这对研究盆底功能障碍至关重要。
• 克服2D U-Net在捕捉对3D结构分割至关重要的跨切片上下文信息方面的局限性，尤其是在噪声大、对比度低的超声数据中。
• 开发一种深度学习架构，通过在切片间引入类似时间的循环机制，提升3D TPUS数据中分割的鲁棒性与准确性。
• 实现与人类观察者间变异水平相当的分割性能，从而支持LAM力学的大规模临床研究。

提出的方法

• 通过将选定的卷积层替换为卷积长短期记忆（CLSTM）单元，对2D U-Net架构进行改进，以在3D TPUS图像的切片序列中建模顺序依赖关系。
• 在U-Net的编码器和解码器路径中，于多个空间分辨率层级集成CLSTM层，以保留并传播3D上下文特征。
• 使用带有默认超参数的Adam优化器，对包含手动标注LAM的3D TPUS图像端到端训练网络。
• 按特定顺序（如冠状面图像从头到尾）输入切片，以提高训练稳定性，避免解剖弯曲结构带来的干扰，阻碍学习过程。
• 探索了迁移学习策略，即从一种成像方向（如冠状面）微调至另一方向（如矢状面），观察到收敛速度加快，但存在更高的过拟合风险。
• 未采用数据采样处理类别不平衡问题，因为模型在无采样情况下仍能良好收敛，尽管对含肌肉的切片进行双重训练可略微加快收敛速度。

实验结果

研究问题

• RQ1 在3D TPUS数据中，通过2D切片学习3D上下文信息时，增强CLSTM层的2D U-Net架构是否能有效实现LAM分割？
• RQ2 所提出的循环U-Net（RU-Net）在3D TPUS图像上的分割性能是否可与人类观察者间的一致性水平相当？
• RQ3 在高噪声、低对比度的3D超声数据中，CLSTM单元的引入是否显著提升分割准确性，相较于标准2D U-Net？
• RQ4 切片排序方式与训练策略（如迁移学习）对RU-Net模型收敛性与泛化能力有何影响？
• RQ5 RU-Net模型能否在不同成像方向（冠状面、矢状面、冠状面）间实现良好泛化？是否存在某一方向表现更优？

主要发现

• 所提出的循环U-Net（RU-Net）在分割性能上与人工观察者间的一致性水平相当，表明其具有高度可靠性与临床相关性。
• 引入CLSTM层显著提升了分割准确性，使模型能够学习3D TPUS数据中切片间的上下文依赖关系，优于标准2D U-Net。
• 该网络在不同成像方向上均表现出稳健性能，其中矢状面成像结果最佳，表明其可能包含更多具有判别力的3D信息。
• 训练对学习率敏感，微小调整即可能导致训练失败或收敛不佳，凸显了对超参数精细调优的必要性。
• 从一种成像方向微调至另一方向可加速收敛，但因训练的随机性，过拟合风险增加，表明迁移学习存在权衡。
• 无需数据采样即可解决类别不平衡问题，因模型在无采样情况下已取得良好性能，尽管对含肌肉的切片进行双重训练可略微提升训练速度。