[论文解读] SANTIS: Sampling-Augmented Neural neTwork with Incoherent Structure for MR image reconstruction

Fang Liu, Lihua Chen+2 more|arXiv (Cornell University)|Dec 8, 2018

Advanced MRI Techniques and Applications参考文献 34被引用 6

一句话总结

SANTIS 是一种用于加速磁共振成像重建的深度学习框架，通过采样增强训练提高了对欠采样模式变化的鲁棒性。在训练过程中应用多样的 k 空间欠采样模式，并结合循环一致性对抗网络与数据保真度，SANTIS 实现了更优的图像质量、更少的伪影，并在不同采样轨迹（包括笛卡尔和黄金角径向成像）下保持一致的性能表现。

ABSTRACT

Deep learning holds great promise in the reconstruction of undersampled Magnetic Resonance Imaging (MRI) data, providing new opportunities to escalate the performance of rapid MRI. In existing deep learning-based reconstruction methods, supervised training is performed using artifact-free reference images and their corresponding undersampled pairs. The undersampled images are generated by a fixed undersampling pattern in the training, and the trained network is then applied to reconstruct new images acquired with the same pattern in the inference. While such a training strategy can maintain a favorable reconstruction for a pre-selected undersampling pattern, the robustness of the trained network against any discrepancy of undersampling schemes is typically poor. We developed a novel deep learning-based reconstruction framework called SANTIS for efficient MR image reconstruction with improved robustness against sampling pattern discrepancy. SANTIS uses a data cycle-consistent adversarial network combining efficient end-to-end convolutional neural network mapping, data fidelity enforcement and adversarial training for reconstructing accelerated MR images more faithfully. A training strategy employing sampling augmentation with extensive variation of undersampling patterns was further introduced to promote the robustness of the trained network. Compared to conventional reconstruction and standard deep learning methods, SANTIS achieved consistent better reconstruction performance, with lower errors, greater image sharpness and higher similarity with respect to the reference regardless of the undersampling patterns during inference. This novel concept behind SANTIS can particularly be useful towards improving the robustness of deep learning-based image reconstruction against discrepancy between training and evaluation, which is currently an important but less studied open question.

研究动机与目标

• 解决基于深度学习的 MRI 重建在推理阶段的欠采样模式与训练阶段不一致时鲁棒性差的问题。
• 提升基于 CNN 的重建网络在多样化 k 空间采样模式下的泛化能力，特别是在非重复或非相干轨迹中。
• 开发一种训练策略，使网络能够识别并有效去除由多种欠采样结构引起的混叠伪影。
• 在临床相关的数据集上，采用笛卡尔和黄金角径向采样轨迹对框架进行评估。
• 探索迁移学习在不同对比相位下重建动态增强肝脏图像的应用。

提出的方法

• SANTIS 采用数据循环一致的生成对抗网络（Cycle-GAN）以确保图像重建的保真度和感知质量。
• 该框架整合了端到端的卷积神经网络（CNN）映射与数据保真度损失，以确保与采集的 k 空间测量值的一致性。
• 在训练中通过生成具有可变密度分布的多样化欠采样模式库，实施采样增强，以提升泛化能力。
• 采用对抗训练以通过鼓励重建图像匹配完全采样参考图像的分布，来保持真实的图像纹理和结构。
• 引入残差学习，直接预测并去除来自欠采样输入的伪影，从而保留解剖对比度和图像细节。
• 训练策略结合了像素级损失、对抗损失和循环一致性损失，以稳定训练并提高重建精度。

实验结果

研究问题

• RQ1 采样增强训练是否能提升基于深度学习的 MRI 重建在不同欠采样模式下的鲁棒性？
• RQ2 SANTIS 在重建采用非重复、非相干采样轨迹（如黄金角径向采样）获取的图像时表现如何？
• RQ3 在不同对比相位下重建动态增强肝脏图像时，SANTIS 能在多大程度上保持图像质量和解剖保真度？
• RQ4 与采用固定欠采样模式训练的标准深度学习模型及传统重建方法相比，SANTIS 在伪影抑制和图像相似性方面表现如何？
• RQ5 与标准损失函数相比，结合循环一致性对抗训练与数据保真度损失是否能提升感知图像质量和结构保留？

主要发现

• 无论推理阶段的欠采样模式如何，SANTIS 的重建性能均显著优于传统方法和采用固定欠采样模式训练的标准深度学习模型。
• 在采用可变密度笛卡尔采样的膝关节成像中，SANTIS 展现出更低的重建误差、更高的图像锐度以及与完全采样参考图像更高的相似度。
• 在采用黄金角径向采样的肝脏成像中，SANTIS 在不同加速率和采样模式下均表现出鲁棒性能，伪影抑制效果更优。
• 迁移学习使 SANTIS 能够以高保真度成功重建不同对比相位下采集的肝脏图像，表明其在动态增强研究中的适应能力。
• 采样增强训练策略使网络能够泛化于多种混叠伪影结构，显著提升了对欠采样模式差异的鲁棒性。
• 对抗训练与数据循环一致性相结合，有效防止了模式崩溃和幻觉现象，相比仅使用像素级损失的基线模型，生成了更真实、更具感知真实感的图像。