[论文解读] Universal Segmentation of 33 Anatomies

Pengbo Liu, Yang Deng+13 more|arXiv (Cornell University)|Mar 4, 2022

Medical Imaging and Analysis被引用 6

一句话总结

该论文提出了一种基于7个部分标注数据集（包括一个新构建的大规模CTSpine1K数据集）训练的通用33结构分割模型，其中CTSpine1K包含1,003个体素3D CT影像和11,000多个椎体标注。为克服基于图像块训练中上下文有限的问题，该工作引入了一种跨图像块Transformer模块（CPTM），以增强长距离特征聚合，在微调后于Verse19和Verse20等开放基准上实现了最先进水平的泛化性能。

ABSTRACT

In the paper, we present an approach for learning a single model that universally segments 33 anatomical structures, including vertebrae, pelvic bones, and abdominal organs. Our model building has to address the following challenges. Firstly, while it is ideal to learn such a model from a large-scale, fully-annotated dataset, it is practically hard to curate such a dataset. Thus, we resort to learn from a union of multiple datasets, with each dataset containing the images that are partially labeled. Secondly, along the line of partial labelling, we contribute an open-source, large-scale vertebra segmentation dataset for the benefit of spine analysis community, CTSpine1K, boasting over 1,000 3D volumes and over 11K annotated vertebrae. Thirdly, in a 3D medical image segmentation task, due to the limitation of GPU memory, we always train a model using cropped patches as inputs instead a whole 3D volume, which limits the amount of contextual information to be learned. To this, we propose a cross-patch transformer module to fuse more information in adjacent patches, which enlarges the aggregated receptive field for improved segmentation performance. This is especially important for segmenting, say, the elongated spine. Based on 7 partially labeled datasets that collectively contain about 2,800 3D volumes, we successfully learn such a universal model. Finally, we evaluate the universal model on multiple open-source datasets, proving that our model has a good generalization performance and can potentially serve as a solid foundation for downstream tasks.

研究动机与目标

• 解决用于多结构分割的大规模、全标注3D医学影像数据集稀缺的问题。
• 开发一个单一的通用模型，能够在多个数据集中对多种解剖结构（如椎体、骨盆骨骼和腹部器官）进行分割。
• 通过构建并发布CTSpine1K这一大规模开源数据集，弥合脊柱分割中的数据鸿沟，该数据集包含超过1,000个体素3D CT影像和11,000多个椎体标注。
• 通过一种新颖的跨图像块Transformer模块（CPTM），改进基于图像块的3D分割中上下文建模能力，尤其针对如脊柱等细长结构。
• 在未见的开放数据集上展示通用模型的强大泛化性能，验证其作为下游任务基础模型的潜力。

提出的方法

• 利用伪标签策略在7个部分标注数据集上训练通用模型，整合来自不同来源、具有不同解剖标注的数据。
• 引入一种跨图像块Transformer模块（CPTM），用于融合相邻3D图像块之间的特征，扩展有效感受野，提升长距离上下文学习能力。
• CPTM在三个重叠的3D图像块上运行，利用自注意力机制在图像块边界之间聚合信息，增强对细长结构的特征表示。
• 模型基于nnU-Net框架构建，利用其在3D医学影像分割任务中的鲁棒性和适应性。
• 由于GPU显存限制，训练过程使用裁剪后的3D图像块，CPTM特别设计用于补偿全局上下文的损失。
• 通用模型在无需重新训练的情况下在多个开放数据集上进行评估，并在目标数据集上进行微调，以评估其迁移能力和性能提升。

实验结果

研究问题

• RQ1 一个深度学习模型是否能实现对多个部分标注数据集中33种不同解剖结构的鲁棒、通用分割？
• RQ2 与标准基于图像块的方法相比，跨图像块Transformer模块（CPTM）在提升如脊柱等细长解剖结构分割精度方面有多有效？
• RQ3 在联合部分标注数据集上预训练的模型，能在多大程度上泛化到Amos、CLINIC、Verse19和Verse20等开放基准上？
• RQ4 新构建的CTSpine1K数据集与现有小规模脊柱数据集相比，是否显著提升了脊柱分割模型的性能和泛化能力？
• RQ5 该通用模型是否可作为下游任务的强基线模型，尤其在目标数据集上微调后？

主要发现

• 在微调后，该模型在Verse19测试集上Dice分数达到0.904，HD95为10.28，优于采用复杂三阶段设计的SOTA方法。
• 在Verse20测试集上，微调后Dice分数为0.866，HD95为18.03，表明其在另一脊柱分割基准上也具备强大泛化能力。
• 与基线方法相比，该模型在Amos数据集上Dice提升2.5，HD95降低35.7%；在CLINIC数据集上Dice提升2.0，HD95降低23.5%。
• 跨图像块Transformer模块（CPTM）显著提升了椎体识别率，在微调后Verse19验证集上的识别率达到99.7%，表明其结构感知能力增强。
• 该模型在Amos数据集上实现93.4%的椎体识别率，在Verse19测试集上达到96.8%，表明其在多种解剖构型下均表现优异。
• CTSpine1K数据集包含1,003个体素3D CT影像和超过11,000个标注椎体，填补了脊柱分割领域的重要数据空白，并作为开源数据集发布以支持社区研究。