[论文解读] Semi-Supervised Learning of Mutually Accelerated MRI Synthesis without Fully-Sampled Ground Truths

Mahmut Yurt, Salman Ul Hassan Dar+4 more|arXiv (Cornell University)|Nov 29, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 63被引用 6

一句话总结

该论文提出ssGAN，一种半监督生成对抗网络，可直接从源对比度和目标对比度的欠采样k空间数据中合成高质量的MRI对比度，无需依赖完全采样的真实图像。通过在图像域、k空间域和对抗域中使用随机采样掩码的多线圈张量损失，ssGAN即使在高加速因子（最高R=10）下也能实现与全监督模型相当的性能，优于级联的重建-合成流水线。

ABSTRACT

Learning-based synthetic multi-contrast MRI commonly involves deep models trained using high-quality images of source and target contrasts, regardless of whether source and target domain samples are paired or unpaired. This results in undesirable reliance on fully-sampled acquisitions of all MRI contrasts, which might prove impractical due to limitations on scan costs and time. Here, we propose a novel semi-supervised deep generative model that instead learns to recover high-quality target images directly from accelerated acquisitions of source and target contrasts. To achieve this, the proposed model introduces novel multi-coil tensor losses in image, k-space and adversarial domains. These selective losses are based only on acquired k-space samples, and randomized sampling masks are used across subjects to capture relationships among acquired and non-acquired k-space regions. Comprehensive experiments on multi-contrast neuroimaging datasets demonstrate that our semi-supervised approach yields equivalent performance to gold-standard fully-supervised models, while outperforming a cascaded approach that learns to synthesize based on reconstructions of undersampled data. Therefore, the proposed approach holds great promise to improve the feasibility and utility of accelerated MRI acquisitions mutually undersampled across both contrast sets and k-space.

研究动机与目标

• 为解决因扫描时间长、成本高而难以获取用于多对比度合成的完全采样、高质量MRI数据的问题。
• 减少在基于深度学习的MRI合成中对成对完全采样源对比度和目标对比度图像的依赖。
• 开发一种半监督学习框架，仅使用欠采样k空间数据进行训练，同时保持与全监督模型相当的合成质量。
• 实现从加速采集数据中端到端学习目标对比度恢复，避免级联流水线中的误差传播。
• 证明仅使用欠采样成对采集数据即可训练出鲁棒的MRI合成模型的可行性。

提出的方法

• 提出一种新颖的半监督生成对抗网络框架ssGAN，直接在源对比度和目标对比度的欠采样k空间数据上进行训练。
• 引入在图像域、k空间域和对抗域中的多线圈张量损失，仅依赖于采集到的k空间样本。
• 在不同受试者间使用随机采样掩码，以建模采集与未采集k空间区域之间的关系。
• 通过线圈组合图像投影和选择性损失函数，在合成过程中保持空间和对比度特异性保真度。
• 采用条件生成对抗网络设置并结合对抗训练，以提升合成图像的感知质量和结构细节。
• 通过仅基于欠采样数据导出的损失，联合优化生成器和判别器，实现端到端训练。

实验结果

研究问题

• RQ1 是否可以在不依赖完全采样真实图像的前提下实现高质量的MRI对比度合成？
• RQ2 在欠采样数据上训练的半监督生成对抗网络框架能否达到全监督模型的性能？
• RQ3 使用随机k空间采样掩码是否能提升泛化能力并改善高频空间细节的恢复？
• RQ4 与涉及中间重建的级联方法相比，从欠采样数据中进行端到端学习的性能如何？
• RQ5 在数据量有限的情况下，所提出方法是否能在高加速因子（如R=10）下保持性能？

主要发现

• ssGAN实现了与需要完全采样源数据的金标准全监督模型（如pix2pix）相当的合成性能。
• 与先重建欠采样数据再合成目标对比度的级联方法（CasGAN）相比，ssGAN性能更优，原因在于减少了误差传播并降低了计算复杂度。
• 在目标对比度的加速因子高达R=10时，ssGAN仍能保持接近最优的性能，显著降低了数据和扫描时间需求。
• ssGAN通过选择性多线圈张量损失和随机k空间掩码，对高欠采样具有鲁棒性。
• 该方法即使在中小型数据集上也能实现有效训练，表明其具有高度的数据效率。
• 通过损失和网络架构的通道级扩展，该方法可扩展至多对比度和跨模态合成任务。