[论文解读] ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer

Pengfei Guo, Yiqun Mei+3 more|arXiv (Cornell University)|Jan 23, 2022

Advanced MRI Techniques and Applications被引用 6

一句话总结

ReconFormer 提出了一种轻量级的循环变压器架构，用于加速 MRI 成像重建，通过使用循环金字塔变压器层（RPTL）联合建模多尺度特征和循环状态之间的深层特征相关性。该方法在参数更少的情况下实现了最先进（SOTA）的图像质量，尤其在高加速因子（如 8×）下表现更优，相较于 OUCR 方法在 HPKS 数据集上提升 0.9 dB，在 fastMRI 数据集上提升 0.3 dB。

ABSTRACT

Accelerating magnetic resonance image (MRI) reconstruction process is a challenging ill-posed inverse problem due to the excessive under-sampling operation in k-space. In this paper, we propose a recurrent transformer model, namely ReconFormer, for MRI reconstruction which can iteratively reconstruct high fertility magnetic resonance images from highly under-sampled k-space data. In particular, the proposed architecture is built upon Recurrent Pyramid Transformer Layers (RPTL), which jointly exploits intrinsic multi-scale information at every architecture unit as well as the dependencies of the deep feature correlation through recurrent states. Moreover, the proposed ReconFormer is lightweight since it employs the recurrent structure for its parameter efficiency. We validate the effectiveness of ReconFormer on multiple datasets with different magnetic resonance sequences and show that it achieves significant improvements over the state-of-the-art methods with better parameter efficiency. Implementation code will be available in https://github.com/guopengf/ReconFormer.

研究动机与目标

• 解决由于 k 空间欠采样导致的加速 MRI 重建作为不适定逆问题的挑战。
• 克服传统压缩感知和基于 CNN 方法的局限性，如对超参数敏感以及对长程依赖关系建模能力差。
• 开发一种参数高效的深度学习 MRI 重建模型，能够有效捕捉多尺度特征和长程相关性。
• 在最小化参数量且无需在大规模数据集上进行预训练的前提下，实现最先进（SOTA）的重建质量。

提出的方法

• 提出循环金字塔变压器层（RPTL），在每个变压器层内集成局部金字塔结构，以在每个网络单元中建模多尺度特征。
• 采用全局列式变压器设计，以保留高分辨率细节，同时实现在循环状态之间的深层特征相关性。
• 引入三个循环单元（RU1、RU2、RU3）以迭代方式优化重建结果，并通过一个细化模块（RM）融合从粗到细的预测结果。
• 在末端引入可微分的数据一致性（DC）层，以确保重建图像与采集到的 k 空间数据保持一致。
• 利用多头注意力机制的自注意力机制，以建模空间位置之间的长程依赖关系。
• 采用固定长度 T=5 的展开策略进行迭代重建，以在精度与计算效率之间取得平衡。

实验结果

研究问题

• RQ1 循环变压器架构是否能有效建模 MRI 重建中的多尺度特征和长程依赖关系？
• RQ2 在每个变压器层内集成金字塔结构，是否相比分层或列式设计能提升特征表示能力？
• RQ3 采用参数共享的循环设计是否能在保持参数效率的同时实现高性能？
• RQ4 与最先进方法相比，该模型在高加速因子下的图像质量和鲁棒性如何？
• RQ5 缺乏在大规模数据集上的预训练是否会影响性能？该模型是否能在多种 MRI 序列和数据集上实现良好泛化？

主要发现

• 在 8× 加速的 HPKS 数据集上，ReconFormer 实现了最高的 PSNR（40.09）和 SSIM（0.9788），相较于 OUCR 提升 0.9 dB（PSNR）。
• 在更具挑战性的 fastMRI 数据集上，ReconFormer 在 8× 加速下实现 33.04 dB 的 PSNR 和 0.9210 的 SSIM，相较于 OUCR 提升 0.3 dB（PSNR）。
• 消融实验表明，每个循环单元和 RPTL 组件均逐步提升性能，且 RPTL 在所有加速因子下均带来稳定增益。
• 模型在更高加速因子下表现出显著的性能提升，表明其对严重欠采样具有强鲁棒性。
• 该方法在多种 MRI 序列和数据集上均保持优越性能，证明其无需预训练即可实现良好泛化能力。
• ReconFormer 在所有对比方法中参数量最少，确认了其卓越的参数效率。