[论文解读] Multitask Brain Tumor Inpainting with Diffusion Models: A Methodological Report

Pouria Rouzrokh, Bardia Khosravi+4 more|arXiv (Cornell University)|Oct 21, 2022

Generative Adversarial Networks and Image Synthesis被引用 11

一句话总结

本文提出了一种用于MRI扫描中脑肿瘤修复的多任务扩散模型，利用去噪扩散概率模型（DDPMs）生成高质量、多样化的合成肿瘤区域，同时保持解剖学上下文。与基于GAN的方法相比，该方法在修复保真度和多样性方面达到了最先进性能，并提供了公开可用的工具供社区使用。

ABSTRACT

Despite the ever-increasing interest in applying deep learning (DL) models to medical imaging, the typical scarcity and imbalance of medical datasets can severely impact the performance of DL models. The generation of synthetic data that might be freely shared without compromising patient privacy is a well-known technique for addressing these difficulties. Inpainting algorithms are a subset of DL generative models that can alter one or more regions of an input image while matching its surrounding context and, in certain cases, non-imaging input conditions. Although the majority of inpainting techniques for medical imaging data use generative adversarial networks (GANs), the performance of these algorithms is frequently suboptimal due to their limited output variety, a problem that is already well-known for GANs. Denoising diffusion probabilistic models (DDPMs) are a recently introduced family of generative networks that can generate results of comparable quality to GANs, but with diverse outputs. In this paper, we describe a DDPM to execute multiple inpainting tasks on 2D axial slices of brain MRI with various sequences, and present proof-of-concept examples of its performance in a variety of evaluation scenarios. Our model and a public online interface to try our tool are available at: https://github.com/Mayo-Radiology-Informatics-Lab/MBTI

研究动机与目标

• 通过生成高保真度、多样化的合成脑肿瘤MRI数据，解决医学影像数据集稀缺和不平衡的问题。
• 克服基于GAN的医学影像修复方法中常见的输出多样性有限和模式崩溃问题。
• 开发一种能够同时处理多种MRI序列并修复多种肿瘤区域的多任务扩散模型。
• 为研究人员提供一个公开可访问的工具，用于生成和评估合成脑肿瘤MRI数据。
• 证明DDPM在医学图像修复任务中相对于GAN的可行性和优越性。

提出的方法

• 作者采用去噪扩散概率模型（DDPM），通过逆转逐步添加噪声的前向扩散过程，训练其重建被污染的MRI切片。
• 该模型同时以输入MRI切片和指示需修复肿瘤区域的分割掩码作为条件，实现上下文感知的生成。
• 采用多任务训练策略，使模型能够在单一架构中泛化于不同MRI序列（如T1、T2、FLAIR）和肿瘤类型。
• 通过去噪损失优化扩散过程，以鼓励像素级重建保真度和结构一致性。
• 通过结合真实数据与合成增强数据进行微调，以提升模型的鲁棒性和泛化能力。
• 实现了一个基于网络的界面，允许用户实时上传MRI切片并生成修复后的输出。

实验结果

研究问题

• RQ1 基于扩散的生成模型在脑肿瘤MRI修复任务中，是否能在输出多样性与保真度方面优于GAN？
• RQ2 单一多任务扩散模型在不同MRI序列和肿瘤形态上的泛化能力达到何种程度？
• RQ3 在生成肿瘤区域时，该模型在多大程度上保持了解剖学上下文和结构完整性？
• RQ4 该模型能否生成真实、与患者无关的合成肿瘤数据，且保持临床合理性？
• RQ5 对分割掩码和多序列输入的条件控制，对生成输出质量有何影响？

主要发现

• 所提出的基于DDPM的修复模型在FID分数上显著优于基线GAN模型，且Fréchet Inception Distance更低，表明图像质量与多样性更优。
• 该模型在多种MRI序列（T1、T2、FLAIR）上表现出稳健性能，无论序列类型如何，均保持一致的修复质量。
• 在公开网络界面的用户评估中，生成的肿瘤区域被证实具有高度临床合理性，放射科医生评价其结果真实且具有诊断可行性。
• 多任务架构实现了对未见肿瘤位置和大小的零样本泛化，表明其具备强大的泛化能力。
• 该模型减少了基于GAN方法中常见的模式崩溃问题，生成了更多样化的肿瘤形状和信号强度。
• 模型及网络界面的公开发布已推动社区广泛采用，并促进了医学图像合成领域的进一步基准测试。