[论文解读] SynthSeg: Segmentation of brain MRI scans of any contrast and resolution without retraining

Benjamin Billot, Douglas N. Greve+6 more|arXiv (Cornell University)|Jul 20, 2021

Radiomics and Machine Learning in Medical Imaging被引用 28

一句话总结

SynthSeg 通过在来自带有完整域随机化的标签图的合成数据上进行训练，在广泛对比度和分辨率的脑部 MRI 分割任务中达到良好效果，从而消除了在新域上重新训练的需求。

ABSTRACT

Despite advances in data augmentation and transfer learning, convolutional neural networks (CNNs) difficultly generalise to unseen domains. When segmenting brain scans, CNNs are highly sensitive to changes in resolution and contrast: even within the same MRI modality, performance can decrease across datasets. Here we introduce SynthSeg, the first segmentation CNN robust against changes in contrast and resolution. SynthSeg is trained with synthetic data sampled from a generative model conditioned on segmentations. Crucially, we adopt a domain randomisation strategy where we fully randomise the contrast and resolution of the synthetic training data. Consequently, SynthSeg can segment real scans from a wide range of target domains without retraining or fine-tuning, which enables straightforward analysis of huge amounts of heterogeneous clinical data. Because SynthSeg only requires segmentations to be trained (no images), it can learn from labels obtained by automated methods on diverse populations (e.g., ageing and diseased), thus achieving robustness to a wide range of morphological variability. We demonstrate SynthSeg on 5,000 scans of six modalities (including CT) and ten resolutions, where it exhibits unparalleled generalisation compared with supervised CNNs, state-of-the-art domain adaptation, and Bayesian segmentation. Finally, we demonstrate the generalisability of SynthSeg by applying it to cardiac MRI and CT scans.

研究动机与目标

• 在多样化临床成像协议中推动稳健的脑部 MRI 分割。
• 在遇到未见对比度/分辨率域时，消除重新训练和微调。
• 利用由标签地图生成的合成训练数据来学习与域无关的特征。
• 展示强烈的跨域泛化能力，包括非 MRI 模态和心脏成像。

提出的方法

• 使用完全随机化的生成模型从标签地图生成合成的3D训练图像。
• 对标签地图应用随机仿射和非线性变形以产生多样的形态。
• 通过采样GMM参数并添加真实的噪声和偏置场来模拟不同对比度。
• 模拟不同的分辨率和切片间距，以训练对低分辨率到高分辨率的鲁棒性。
• 仅在合成图像上使用 soft Dice 损失训练一个3D UNet，并在测试时进行增强。
• 通过重采样到高分辨率并对原始测试和翻转测试的预测进行平均来进行推断。

实验结果

研究问题

• RQ1 分割 CNN 能否在不重新训练的情况下实现对比度和分辨率不变的性能？
• RQ2 基于合成数据的域随机化在不同模态和分辨率的现实扫描中的迁移能力有多强？
• RQ3 该方法是否在 MRI 之外也有效，例如在心脏成像中？

主要发现

• SynthSeg 在其训练域上达到接近监督学习的准确度，尽管仅使用合成数据进行训练。
• 它在未见对比度和分辨率的情况下比最先进的领域自适应和贝叶斯方法具有更好的泛化。
• 该方法在九个目标域上显示出强健性，包括非 MRI 模态和低分辨率数据。
• SynthSeg 在包括老化和疾病效应在内的大形态变异下保持较高的 Dice 分数和较低的表面距离。
• 该方法对心脏 MRI 与 CT 扫描表现出普适性泛化，表明模态无关的鲁棒性。