[论文解读] Task Transformer Network for Joint MRI Reconstruction and Super-Resolution

Chun-Mei Feng, Yunlu Yan+3 more|arXiv (Cornell University)|Jun 12, 2021

Advanced MRI Techniques and Applications参考文献 33被引用 6

一句话总结

本文提出T2Net，一种端到端任务转换网络，通过新颖的任务转换模块在两个任务专用分支之间共享特征，联合执行磁共振成像（MRI）重建与超分辨率。该方法实现了最先进性能，在4×超分辨率下相比顺序方法PSNR提升超过6 dB，同时具备更优的伪影抑制与结构保真度。

ABSTRACT

The core problem of Magnetic Resonance Imaging (MRI) is the trade off between acceleration and image quality. Image reconstruction and super-resolution are two crucial techniques in Magnetic Resonance Imaging (MRI). Current methods are designed to perform these tasks separately, ignoring the correlations between them. In this work, we propose an end-to-end task transformer network (T$^2$Net) for joint MRI reconstruction and super-resolution, which allows representations and feature transmission to be shared between multiple task to achieve higher-quality, super-resolved and motion-artifacts-free images from highly undersampled and degenerated MRI data. Our framework combines both reconstruction and super-resolution, divided into two sub-branches, whose features are expressed as queries and keys. Specifically, we encourage joint feature learning between the two tasks, thereby transferring accurate task information. We first use two separate CNN branches to extract task-specific features. Then, a task transformer module is designed to embed and synthesize the relevance between the two tasks. Experimental results show that our multi-task model significantly outperforms advanced sequential methods, both quantitatively and qualitatively.

研究动机与目标

• 为解决MRI采集速度与图像质量之间的权衡，通过联合求解重建与超分辨率任务。
• 利用MRI重建与超分辨率之间的共享表征，以提升图像质量并减少伪影。
• 设计一种多任务学习框架，通过注意力机制实现在相关任务之间的特征迁移。
• 在定量与定性指标上均优于最先进重建与超分辨率模型的顺序组合。

提出的方法

• T2Net采用两个并行的CNN分支：一个用于MRI重建（辅助任务），一个用于超分辨率（目标任务），各自提取任务特定特征。
• 引入任务转换模块，通过将重建分支的特征作为键（keys），超分辨率分支的特征作为查询（queries），以建模跨任务的相关性。
• 该模块使用相关性嵌入、硬注意力与软注意力机制，将重建分支中的解剖结构信息传递至超分辨率输出，以增强图像质量。
• 网络采用端到端训练，损失函数结合重建与超分辨率目标，实现联合优化。
• 该框架支持高欠采样率（如6×笛卡尔加速度）与高超分辨率因子（最高达4×）。

实验结果

研究问题

• RQ1 与顺序处理相比，联合学习MRI重建与超分辨率是否能提升图像质量？
• RQ2 从重建任务中提取的共享解剖特征在多大程度上可有效提升超分辨率结果？
• RQ3 集成特定任务的Transformer模块是否能提升在高度欠采样MRI数据中的特征迁移效果并减少伪影？
• RQ4 所提出的多任务框架在定量与定性指标上与最先进顺序模型相比表现如何？

主要发现

• 在IXI数据集上，T2Net在2×超分辨率下达到29.397 dB的PSNR，在临床数据集上达到30.400 dB，优于所有顺序组合方法。
• 在4×超分辨率下，T2Net在IXI数据集上达到28.659 dB的PSNR，在临床数据集上达到30.252 dB，显著优于最佳顺序方法（21.895 dB）。
• 消融实验表明，若移除重建分支则性能下降，而即使移除任务转换模块，其性能仍优于仅使用SR分支的方法，证明了特征迁移的有效性。
• 视觉对比显示，T2Net能有效抑制混叠伪影，并在高超分辨率因子下更好地保留细微解剖结构。
• 该模型对高欠采样（6×笛卡尔加速度）具有鲁棒性，在保持图像质量的同时，几乎无模糊与结构损失。