[论文解读] Unified Multi-Modal Image Synthesis for Missing Modality Imputation

Yue Zhang, Chengtao Peng+4 more|arXiv (Cornell University)|Apr 11, 2023

Generative Adversarial Networks and Image Synthesis参考文献 57被引用 6

一句话总结

本文提出了一种统一的生成对抗网络，用于多模态磁共振成像（MRI）合成，通过任意组合的可用模态来填补缺失的医学影像对比度。该方法引入了一种共性与差异敏感编码器（Commonality- and Discrepancy-Sensitive Encoder），以捕捉共享特征与模态特异性特征；并提出了一种动态特征统一模块（Dynamic Feature Unification Module），实现对可变输入模态的鲁棒特征融合，从而在BraTS和IXI数据集上实现了最先进的性能，PSNR达到28.23 dB，SSIM达到0.937。

ABSTRACT

Multi-modal medical images provide complementary soft-tissue characteristics that aid in the screening and diagnosis of diseases. However, limited scanning time, image corruption and various imaging protocols often result in incomplete multi-modal images, thus limiting the usage of multi-modal data for clinical purposes. To address this issue, in this paper, we propose a novel unified multi-modal image synthesis method for missing modality imputation. Our method overall takes a generative adversarial architecture, which aims to synthesize missing modalities from any combination of available ones with a single model. To this end, we specifically design a Commonality- and Discrepancy-Sensitive Encoder for the generator to exploit both modality-invariant and specific information contained in input modalities. The incorporation of both types of information facilitates the generation of images with consistent anatomy and realistic details of the desired distribution. Besides, we propose a Dynamic Feature Unification Module to integrate information from a varying number of available modalities, which enables the network to be robust to random missing modalities. The module performs both hard integration and soft integration, ensuring the effectiveness of feature combination while avoiding information loss. Verified on two public multi-modal magnetic resonance datasets, the proposed method is effective in handling various synthesis tasks and shows superior performance compared to previous methods.

研究动机与目标

• 解决由于扫描时间、伪影或协议差异导致的多模态MRI数据不完整问题。
• 开发一个单一统一的模型，能够从任意组合的可用模态中合成任意缺失的模态，避免需要多个模型。
• 通过捕捉输入图像中模态不变（共性）和模态特异（差异）的特征，提升图像质量。
• 通过有效的特征统一策略，确保对可变数量可用模态的鲁棒性。

提出的方法

• 提出一种共性与差异敏感编码器（CDS-Encoder），包含模态特异与共性编码路径，用于从输入模态中提取不变特征与独特特征。
• 引入一种动态特征统一模块（DFUM），对来自多个输入模态的特征执行硬融合与软融合，以最小化信息损失。
• 采用多流生成器，为每个目标模态设置独立的解码路径，实现任意缺失对比度的端到端合成。
• 在训练中采用课程学习策略，逐步暴露网络于更复杂的输入配置，以提升收敛性与性能。
• 采用生成对抗网络（GAN）框架，结合对抗损失、循环一致性损失与感知损失，以增强生成图像的真实感与结构保真度。

实验结果

研究问题

• RQ1 一个统一的深度学习模型能否有效从任意组合的可用模态中合成任意缺失的MRI模态？
• RQ2 模型如何有效利用模态不变与模态特异性特征以提升图像合成质量？
• RQ3 在处理可变数量输入模态时，哪种特征统一策略最有效且能最小化信息损失？
• RQ4 课程学习是否能提升多模态图像合成任务中的训练稳定性和性能？

主要发现

• 所提出的CDS-Encoder在BraTS数据集上实现了28.23 dB的PSNR与0.937的SSIM，相较于MMS-Encoder，PSNR提升+0.40 dB，SSIM提升+0.006。
• DFUM模块相较于最大池化操作，PSNR提升+0.44 dB，SSIM提升+0.005；相较于HeMIS方法，PSNR提升+0.63 dB，SSIM提升+0.007。
• 引入课程学习后，PSNR提升0.30 dB，SSIM提升0.004，证明其在训练稳定性和收敛性方面的有效性。
• 该方法在BraTS与IXI两个数据集上均达到最先进性能，生成的图像具有高保真度，纹理真实且结构细节丰富。
• 视觉对比显示，所提方法生成的图像更清晰，伪影更少，而基线GAN模型通常产生模糊输出。
• 消融实验证实，CDS-Encoder与DFUM均为关键组件，两者对整体性能提升均有显著贡献。