[论文解读] $Σ$-net: Ensembled Iterative Deep Neural Networks for Accelerated Parallel MR Image Reconstruction

Jo Schlemper, Chen Qin+3 more|arXiv (Cornell University)|Dec 11, 2019

Advanced MRI Techniques and Applications参考文献 15被引用 9

一句话总结

本文提出Σ-net，一种用于加速并行MRI重建的集成迭代深度学习框架，通过结合多种网络架构——并行线圈网络（PCNs）和敏感度网络（SNs）——以及多样化的数据一致性机制，实现高性能重建。通过融合采用监督微调和半监督微调训练的模型结果，并引入风格迁移层以对齐与敏感度加权参考图像的对比度，Σ-net在保持视觉质量的同时实现了最先进的SSIM评分，兼顾了定量性能与视觉表现。

ABSTRACT

We explore an ensembled $Σ$-net for fast parallel MR imaging, including parallel coil networks, which perform implicit coil weighting, and sensitivity networks, involving explicit sensitivity maps. The networks in $Σ$-net are trained in a supervised way, including content and GAN losses, and with various ways of data consistency, i.e., proximal mappings, gradient descent and variable splitting. A semi-supervised finetuning scheme allows us to adapt to the k-space data at test time, which, however, decreases the quantitative metrics, although generating the visually most textured and sharp images. For this challenge, we focused on robust and high SSIM scores, which we achieved by ensembling all models to a $Σ$-net.

研究动机与目标

• 解决在加速并行MRI重建中实现高定量性能（SSIM、NMSE）的同时保持视觉质量的挑战。
• 克服基于深度学习的MRI重建中定量指标与视觉感知之间的差异。
• 通过集成具有不同架构和训练策略的多个模型，提升模型鲁棒性。
• 通过引入风格迁移层，减轻基于RSS的评估与敏感度加权真实值之间的对比度失配。
• 通过半监督微调方案实现对测试时k空间数据的适应，同时不损害定量指标表现。

提出的方法

• 训练多种网络架构：用于隐式线圈加权的并行线圈网络（PCNs）和用于显式线圈敏感度图的敏感度网络（SNs）。
• 实施三种数据一致性策略：邻近映射（PM）、梯度下降（GD）和变量分裂（VS），并将其整合到展开的优化方案中。
• 采用监督训练，结合SSIM与ℓ₁损失，并使用前景掩码聚焦于解剖区域。
• 对选定模型应用最小二乘生成对抗网络（LSGAN）损失进行微调，以增强纹理与清晰度。
• 应用半监督微调方案，在最小化数据一致性误差的同时保持SSIM，将初始重建结果作为先验。
• 引入风格迁移层（STL），将SN输出映射为类似RSS的对比度，使其与挑战的评估参考对齐。

实验结果

研究问题

• RQ1 集成多个具有不同架构和训练策略的深度学习模型，是否能提升加速并行MRI重建中的鲁棒性与定量性能？
• RQ2 半监督微调在MRI重建中对视觉质量与定量指标的影响如何？
• RQ3 基于RSS的评估与敏感度加权真实值之间的对比度失配，对模型性能的损害程度有多大？
• RQ4 风格迁移层是否能有效弥合基于RSS评估与敏感度组合参考之间的差距，同时不损害重建质量？
• RQ5 在SNs中使用显式线圈敏感度图是否优于PCNs中的隐式线圈加权？二者在集成后表现如何比较？

主要发现

• 集成后的Σ-net在fastMRI验证集上取得了最高的SSIM评分，在R=4时为0.9205 ± 0.1234，在R=8时为0.8917 ± 0.1317。
• 半监督微调的GD-SN-FT模型生成了最锐利且纹理最丰富的图像，但SSIM与NMSE评分最低，表明视觉质量与定量指标之间存在权衡。
• PM-PCN模型在R=4时NMSE最低（0.0055 ± 0.0118），在R=8时为0.0091 ± 0.0150，表现出优异的定量性能。
• 风格迁移层成功减少了SN输出与RSS参考之间的对比度失配，提升了与挑战评估标准的对齐度。
• 通过集成多个模型——具体为30% SN、20% PCN与50% SN-FT——在所有指标上均实现了最鲁棒且最优的重建性能。
• 半监督微调改善了纹理与噪声特性，但轻微降低了定量评分，凸显了人类感知与标准指标之间的脱节。