[论文解读] mustGAN: Multi-Stream Generative Adversarial Networks for MR Image Synthesis

Mahmut Yurt, Salman Ul Hassan Dar+3 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Image Processing Techniques被引用 10

一句话总结

该论文提出 mustGAN，一种用于磁共振成像（MRI）图像合成的多流生成对抗网络，通过结合一对一流以提取对比度特异性特征，以及一个许多对一流以学习共享特征，并自适应地融合这些特征，从而提升图像合成质量。该方法在合成 T1、T2、PD 和 FLAIR 加权脑部 MRI 序列方面达到最先进性能，图像锐度更高，噪声更少。

ABSTRACT

Multi-contrast MRI protocols increase the level of morphological information available for diagnosis. Yet, the number and quality of contrasts is limited in practice by various factors including scan time and patient motion. Synthesis of missing or corrupted contrasts can alleviate this limitation to improve clinical utility. Common approaches for multi-contrast MRI involve either one-to-one and many-to-one synthesis methods. One-to-one methods take as input a single source contrast, and they learn a latent representation sensitive to unique features of the source. Meanwhile, many-to-one methods receive multiple distinct sources, and they learn a shared latent representation more sensitive to common features across sources. For enhanced image synthesis, here we propose a multi-stream approach that aggregates information across multiple source images via a mixture of multiple one-to-one streams and a joint many-to-one stream. The shared feature maps generated in the many-to-one stream and the complementary feature maps generated in the one-to-one streams are combined with a fusion block. The location of the fusion block is adaptively modified to maximize task-specific performance. Qualitative and quantitative assessments on T1-, T2-, PD-weighted and FLAIR images clearly demonstrate the superior performance of the proposed method compared to previous state-of-the-art one-to-one and many-to-one methods.

研究动机与目标

• 为解决多对比度 MRI 由于扫描时间长和患者运动导致的临床局限性，通过合成缺失或受损的对比度来实现改进。
• 通过在统一框架中结合一对一和许多对一合成方法的优势，克服现有方法的不足。
• 通过融合来自各对比度的互补特征以及跨对比度的共享表征，提升图像质量。
• 实现在网络中任务优化位置的自适应特征图融合，从而在多样化合成任务中提升性能。

提出的方法

• mustGAN 使用多个一对一流，每个流处理单一源对比度，以提取独特的、对比度特异性特征。
• 一个独立的许多对一流同时处理所有源对比度，以学习跨对比度的共享、通用特征。
• 一对一流和许多对一流的特征图通过可学习的融合模块进行融合，其位置在训练过程中自适应优化。
• 网络采用条件生成对抗网络框架，结合对抗损失、感知损失和像素级损失，以保留高频细节并提升图像真实感。
• 融合模块在解码器中动态定位，以最大化任务特定性能，不同于先前方法中固定的融合位置。
• 模型在成对的多对比度 MRI 数据上进行训练，预注册作为预处理步骤。

实验结果

研究问题

• RQ1 将一对一和许多对一流结合是否能超越孤立方法，在多对比度 MRI 合成中实现更优性能？
• RQ2 在学习到的网络位置进行特征的自适应融合，是否能优于固定位置的融合，从而提升合成性能？
• RQ3 整合对比度特异性表征与共享表征，是否能降低合成 MRI 图像中的噪声并提升锐度？
• RQ4 与 pGAN 和 Multimodal 等最先进方法相比，mustGAN 在定量和定性图像质量方面表现如何？

主要发现

• mustGAN 在合成 T1、T2、PD 和 FLAIR 加权脑部 MRI 序列方面，优于一对一和许多对一的最先进方法。
• 该方法获得更高的 PSNR 值，视觉质量更优，相比 pGAN 和 Multimodal，噪声更少，边缘更锐利。
• 一对一和许多对一特征图的自适应融合带来更优性能，尤其在保留细微解剖细节方面表现突出。
• 引入专用的一对一流增强了对单个对比度独特特征的敏感性，从而提升了整体合成保真度。
• 模型在多种数据集上表现出稳健性能，包括正常和胶质母细胞瘤患者扫描。
• 对抗损失和感知损失的使用，使模型对高频空间细节的捕捉优于基于平均绝对误差的方法。