[论文解读] Semantic Segmentation of Thigh Muscle using 2.5D Deep Learning Network Trained with Limited Datasets

Hasnine Haque, Masahiro Hashimoto+2 more|arXiv (Cornell University)|Nov 21, 2019

Nutrition and Health in Aging参考文献 11被引用 5

一句话总结

该论文提出了一种2.5D U-Net深度学习模型，通过有限的训练数据，提升了CT扫描中11种大腿肌肉类别的语义分割性能。通过在冠状面、矢状面和轴向面切片上分别训练三个2D U-Net，并利用投票机制融合其输出，该方法在相同数据约束下，实现了91.18%的平均DSC和0.84±0.27 mm的ASD，优于2D和3D U-Net模型。

ABSTRACT

Purpose: We propose a 2.5D deep learning neural network (DLNN) to automatically classify thigh muscle into 11 classes and evaluate its classification accuracy over 2D and 3D DLNN when trained with limited datasets. Enables operator invariant quantitative assessment of the thigh muscle volume change with respect to the disease progression. Materials and methods: Retrospective datasets consist of 48 thigh volume (TV) cropped from CT DICOM images. Cropped volumes were aligned with femur axis and resample in 2 mm voxel-spacing. Proposed 2.5D DLNN consists of three 2D U-Net trained with axial, coronal and sagittal muscle slices respectively. A voting algorithm was used to combine the output of U-Nets to create final segmentation. 2.5D U-Net was trained on PC with 38 TV and the remaining 10 TV were used to evaluate segmentation accuracy of 10 classes within Thigh. The result segmentation of both left and right thigh were de-cropped to original CT volume space. Finally, segmentation accuracies were compared between proposed DLNN and 2D/3D U-Net. Results: Average segmentation DSC score accuracy of all classes with 2.5D U-Net as 91.18% and Average Surface distance (ASD) accuracy as 0.84 mm. We found, mean DSC score for 2D U-Net was 3.3% lower than the that of 2.5D U-Net and mean DSC score of 3D U-Net was 5.7% lower than that of 2.5D U-Net when trained with same datasets. Conclusion: We achieved a faster computationally efficient and automatic segmentation of thigh muscle into 11 classes with reasonable accuracy. Enables quantitative evaluation of muscle atrophy with disease progression.

研究动机与目标

• 开发一种基于深度学习的自动化方法，用于临床CT扫描中11种大腿肌肉类别的语义分割。
• 通过构建计算高效且准确的分割模型，解决有限标注训练数据的挑战。
• 实现与操作者无关的肌肉体积变化定量评估，以监测疾病进展。
• 通过提出一种利用初始U-Net预测的高效真实标签标注策略，减少人工分割工作量。
• 在相同训练条件下，比较2.5D U-Net与2D和3D U-Net架构的性能表现。

提出的方法

• 该框架采用2.5D U-Net架构，包含三个独立的2D U-Net模型，分别在大腿CT体积的轴向、冠状面和矢状面切片上进行训练。
• 每个2D U-Net处理3D体积的单一方向切片，从2D切片中学习空间上下文信息，同时保持3D解剖结构的完整性。
• 采用基于投票的融合策略，将三个2D U-Net的分割输出合并，生成最终一致的3D分割结果。
• 该方法包含自动预处理流程：通过基于AI的解剖结构分类器对CT图像序列进行分类，以分离出大腿区域，随后进行裁剪、重采样至2mm各向同性体素，并沿股骨轴对齐。
• 真实标签通过人工精细化初始U-Net预测结果在肌肉边界处的标注生成，从而减少标注时间和工作量。
• 分割结果经过去裁剪并转换回原始CT图像空间，以实现准确评估。

实验结果

研究问题

• RQ1 当在有限数据集上进行训练时，2.5D U-Net架构是否能实现优于2D和3D U-Net模型的分割精度？
• RQ2 2.5D方法是否能提升在CT中边界模糊且软组织对比度低的肌肉的分割性能？
• RQ3 多平面U-Net输出的基于投票的融合在多大程度上提升了分割的一致性和准确性？
• RQ4 所提出的方法是否能在保持高分割精度的同时，减少人工标注的工作量？
• RQ5 2.5D U-Net在易因尺寸小和边界模糊而发生误分类的小肌肉类别上的表现如何？

主要发现

• 2.5D U-Net在所有11个肌肉类别上实现了91.18%的平均Dice相似系数（DSC），显著优于在相同有限数据集上训练的2D U-Net（低3.3%）和3D U-Net（低5.7%）。
• 2.5D U-Net的平均表面距离（ASD）为0.84±0.27 mm，相比Yokota等人使用两阶段分层方法报告的1.61±0.70 mm有显著提升。
• 与2D U-Net相比，2.5D U-Net在DSC（p < 0.05）和ASD（p < 0.01）方面表现出统计学上显著的改进，表明其在边界定位和重叠度方面更优。
• 尽管DSC较低，3D U-Net在DSC分数上的四分位距（IQR）更窄，表明其在各类别间表现更稳定，但整体性能仍逊于2.5D模型。
• 该系统在配备GPU的工作站上实现了每例大腿体积1.08±0.007分钟的快速推理时间，具备临床部署潜力。
• 通过利用精细化的初始U-Net预测作为真实标签创建的基础，该方法显著减少了人工标注工作量，提高了标注效率，且未牺牲准确性。