[论文解读] SynthSeg: Domain Randomisation for Segmentation of Brain MRI Scans of any Contrast and Resolution

Benjamin Billot, Douglas N. Greve+6 more|arXiv (Cornell University)|Jul 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 105被引用 14

一句话总结

SynthSeg 提出了一种领域随机化的卷积神经网络，用于脑部 MRI 分割，无需微调即可在任意对比度和分辨率下实现泛化。通过在参数完全随机化的合成数据上进行训练，它在涵盖 6 种对比度和 10 种分辨率的 5,500 幅扫描图像上实现了最先进水平的泛化性能，优于监督 CNN、测试时适应方法以及贝叶斯分割。

ABSTRACT

Despite advances in data augmentation and transfer learning, convolutional neural networks (CNNs) have difficulties generalising to unseen target domains. When applied to segmentation of brain MRI scans, CNNs are highly sensitive to changes in resolution and contrast: even within the same MR modality, decreases in performance can be observed across datasets. We introduce SynthSeg, the first segmentation CNN agnostic to brain MRI scans of any contrast and resolution. SynthSeg is trained with synthetic data sampled from a generative model inspired by Bayesian segmentation. Crucially, we adopt a extit{domain randomisation} strategy where we fully randomise the generation parameters to maximise the variability of the training data. Consequently, SynthSeg can segment preprocessed and unpreprocessed real scans of any target domain, without retraining or fine-tuning. Because SynthSeg only requires segmentations to be trained (no images), it can learn from label maps obtained automatically from existing datasets of different populations (e.g., with atrophy and lesions), thus achieving robustness to a wide range of morphological variability. We demonstrate SynthSeg on 5,500 scans of 6 modalities and 10 resolutions, where it exhibits unparalleled generalisation compared to supervised CNNs, test time adaptation, and Bayesian segmentation. The code and trained model are available at this https URL.

研究动机与目标

• 解决当将 CNN 应用于具有不同对比度和分辨率的未见领域时，脑部 MRI 分割中泛化能力差的挑战。
• 克服监督 CNN 在同一 MRI 对比度内跨数据集性能下降的局限性。
• 开发一种对输入扫描特征（如对比度、分辨率和预处理级别）无感的分割模型。
• 仅使用标签图进行训练，从而能够整合包含萎缩和病灶等病理变异的多样化数据集。
• 在无需微调或领域自适应的情况下，实现对广泛形态学和成像变异的鲁棒分割性能。

提出的方法

• 使用从贝叶斯启发的生成模型生成的合成 MRI 扫描图像训练分割 CNN。
• 在生成合成数据时，通过完全随机化所有生成参数来应用领域随机化，以最大化训练数据的可变性。
• 仅使用分割标签图进行训练，无需真实图像对或成对数据。
• 通过在训练期间暴露于极端变化，使模型对输入分辨率和对比度保持不变。
• 通过在生成级别进行数据增强，利用合成数据分布隐式学习领域不变特征。
• 确保模型在无需微调的情况下，能泛化到任何目标领域的预处理和未预处理真实扫描。

实验结果

研究问题

• RQ1 深度学习模型是否能在不微调的情况下，实现对多样化脑部 MRI 对比度和分辨率的鲁棒泛化？
• RQ2 与标准数据增强或微调相比，合成数据上的领域随机化在多大程度上提升了泛化性能？
• RQ3 是否可以仅使用现有数据集的标签图有效训练分割模型，而无需真实图像数据？
• RQ4 SynthSeg 在多个数据集上的性能与监督 CNN、测试时适应方法以及贝叶斯分割相比如何？
• RQ5 当在多样化标签图上进行训练时，该模型是否能在包含萎缩和病灶等病理特征的扫描中保持高精度？

主要发现

• SynthSeg 在涵盖 6 种成像对比度和 10 种分辨率的 5,500 幅脑部 MRI 扫描中实现了最先进水平的泛化性能。
• 该模型在无需任何微调或适应的情况下，可泛化到预处理和未预处理的真实扫描。
• SynthSeg 在跨领域分割任务中优于监督 CNN、测试时适应方法以及贝叶斯分割。
• 由于从多样化合成数据中学习到的鲁棒性，该模型在具有复杂形态学变异（包括萎缩和病灶）的扫描中仍能保持高精度。
• 仅基于标签图的训练可有效实现对异质数据集（包括具有病理特征的数据集）的学习。
• 在合成数据上应用领域随机化显著增强了模型对分辨率和对比度变化的不变性，从而实现了卓越的零样本泛化性能。