[论文解读] Which Contrast Does Matter? Towards a Deep Understanding of MR Contrast using Collaborative GAN

Dong-Wook Lee, Won‐Jin Moon+1 more|arXiv (Cornell University)|May 10, 2019

Radiomics and Machine Learning in Medical Imaging参考文献 35被引用 9

一句话总结

本文提出CollaGAN，一种协作生成对抗网络，通过联合建模多种MR对比度图像流形，确定哪些对比度对精确的图像补全至关重要。通过在T1、T1Gd、T2和T2-FLAIR对比度上进行训练，该方法表明外源性对比剂（T1Gd）不可替代，而内源性对比度如T1和T2可从其他对比度中合成，为临床扫描方案设计提供了关键洞见。

ABSTRACT

Thanks to the recent success of generative adversarial network (GAN) for image synthesis, there are many exciting GAN approaches that successfully synthesize MR image contrast from other images with different contrasts. These approaches are potentially important for image imputation problems, where complete set of data is often difficult to obtain and image synthesis is one of the key solutions for handling the missing data problem. Unfortunately, the lack of the scalability of the existing GAN-based image translation approaches poses a fundamental challenge to understand the nature of the MR contrast imputation problem: which contrast does matter? Here, we present a systematic approach using Collaborative Generative Adversarial Networks (CollaGAN), which enable the learning of the joint image manifold of multiple MR contrasts to investigate which contrasts are essential. Our experimental results showed that the exogenous contrast from contrast agents is not replaceable, but other endogenous contrast such as T1, T2, etc can be synthesized from other contrast. These findings may give important guidance to the acquisition protocol design for MR in real clinical environment.

研究动机与目标

• 为解决临床环境中因协议限制、患者条件或伪影导致的MR对比度数据缺失或损坏问题，其中完整多对比度扫描往往不可用。
• 系统性地研究哪些MR对比度对下游任务（如肿瘤分割）至关重要，通过确定哪些对比度可从其他对比度中合成。
• 开发一种可扩展的协作GAN框架（CollaGAN），能够建模多个MR对比度之间的联合图像流形，克服如CycleGAN等成对GAN的局限性。
• 提供实证证据，评估不同MR对比度的可替代性，特别是外源性对比剂（T1Gd）与内源性对比度（T1、T2、T2-FLAIR）的作用。
• 通过识别不可或缺的对比度，为临床采集方案提供指导，减少不必要的扫描时间与患者负担。

提出的方法

• CollaGAN采用共享生成器与判别器架构，并结合领域特定条件，实现在单一框架中联合建模多个MR对比度域（T1、T1Gd、T2、T2F）。
• 生成器使用多尺度特征提取模块，包含三个并行分支：一个用于高分辨率特征，一个用于低分辨率特征，一个用于中间尺度特征，三者拼接以实现多尺度表征。
• 判别器采用PatchGAN，用于将局部图像块分类为真实或生成样本，并包含一个领域分类头以区分不同对比度类型。
• 模型通过循环一致性损失与对抗性损失进行训练，同时在判别器中应用Dropout以防止过拟合。
• 数据增强包括随机缩放（0.9–1.1）和50%概率的侧向翻转，以提升模型鲁棒性。
• 该框架基于BraTS 2018数据及10名受试者衍生的合成MDME对比度进行评估，训练/验证/测试集划分为224/28/28。

实验结果

研究问题

• RQ1 在临床影像中，哪种MR对比度不可替代，而哪些可从其他对比度中合成？
• RQ2 单一协作式GAN模型能否有效学习多个MR对比度的联合流形，优于成对GAN？
• RQ3 在缺乏对比剂的情况下，内源性对比度（T1、T2、T2-FLAIR）在多大程度上可被准确合成？
• RQ4 MAGiC衍生的FLAIR图像中合成伪影的存在如何影响下游分割性能，GAN基合成能否缓解此问题？
• RQ5 对比度可替代性对临床MRI扫描方案设计与数据采集效率有何影响？

主要发现

• 外源性对比度（T1Gd）不可替代：无法从其他内源性对比度中可靠合成，表明对比剂使用对准确诊断仍至关重要。
• 内源性对比度如T1、T2和T2-FLAIR可有效从其他对比度中合成，表明在缺失时可实现有效补全。
• 所提出的CollaGAN框架实现了高质量的MR对比度合成，伪影极少，其在联合流形建模方面优于标准GAN。
• 通过MAGiC生成的合成T2-FLAIR图像在脑脊液-组织边界处含有特征性的颗粒状高信号伪影，可能被误认为病灶。
• 使用补全对比度进行的肿瘤分割性能保持较高水平，分割网络在BraTS 2018基准上使用合成数据也取得了具有竞争力的结果。
• 本研究提供了实证证据，表明临床方案可通过减少冗余扫描进行优化，尤其当内源性对比度可被合成重建时。