[论文解读] Over-and-Under Complete Convolutional RNN for MRI Reconstruction

Pengfei Guo, Jeya Maria Jose Valanarasu+4 more|arXiv (Cornell University)|Jun 16, 2021

Advanced MRI Techniques and Applications参考文献 30被引用 4

一句话总结

本文提出了一种名为过量-欠量完整卷积循环神经网络（OUCR）的新型深度学习架构，用于加速磁共振成像（MRI）重建。该方法结合了过量和欠量卷积循环神经网络（CRNN），以增强局部特征学习并保留全局结构。与现有的深度学习和压缩感知方法相比，该方法在参数更少的情况下实现了最先进的图像质量。

ABSTRACT

Reconstructing magnetic resonance (MR) images from undersampled data is a challenging problem due to various artifacts introduced by the under-sampling operation. Recent deep learning-based methods for MR image reconstruction usually leverage a generic auto-encoder architecture which captures low-level features at the initial layers and high-level features at the deeper layers. Such networks focus much on global features which may not be optimal to reconstruct the fully-sampled image. In this paper, we propose an Over-and-Under Complete Convolutional Recurrent Neural Network (OUCR), which consists of an overcomplete and an undercomplete Convolutional Recurrent Neural Network(CRNN). The overcomplete branch gives special attention in learning local structures by restraining the receptive field of the network. Combining it with the undercomplete branch leads to a network which focuses more on low-level features without losing out on the global structures. Extensive experiments on two datasets demonstrate that the proposed method achieves significant improvements over the compressed sensing and popular deep learning-based methods with less number of trainable parameters.

研究动机与目标

• 为解决从高度欠采样的k空间数据重建高质量MR图像的挑战，此类方法常导致混叠伪影和细节丢失。
• 改进现有基于深度学习的MRI重建方法，这些方法往往过度关注全局特征，而牺牲了局部低层次结构。
• 利用过量表示以增强局部特征提取，同时通过欠量分支保留全局上下文。
• 开发一种参数高效的架构，在重建质量上超越压缩感知和领先的深度学习方法。

提出的方法

• OUCR框架由两个并行分支组成：一个过量CRNN（OC-CRNN）通过限制感受野来强调局部特征，一个欠量CRNN（UC-CRNN）用于捕捉全局结构。
• 过量分支使用上采样层而非最大池化，以保持细粒度的空间信息并增强局部特征学习。
• 欠量分支采用下采样，逐步扩大感受野并学习高层表示。
• 在两个分支中均应用残差模块（RM），以改善梯度流动并优化特征提取。
• 两个分支的输出通过端到端训练进行融合与联合优化，从而从欠采样的k空间数据重建出完整采样的MR图像。
• 模型通过结合L2损失和感知损失进行训练，以保留图像细节和结构保真度。

实验结果

研究问题

• RQ1 与标准自编码器风格网络相比，过量CRNN架构是否能更好地恢复欠采样MRI重建中的精细细节？
• RQ2 将过量和欠量CRNN分支结合是否能带来优于单独使用任一分支的重建性能？
• RQ3 所提出的OUCR架构是否能在参数更少的情况下实现优于当前最先进深度学习和压缩感知方法的图像质量？
• RQ4 残差模块的引入如何影响OUCR框架的性能与收敛性？

主要发现

• 在加速因子为8的HPKS数据集上，OUCR实现了32.14 dB的PSNR和0.9044的SSIM，显著优于压缩感知方法（24.96 dB，0.7125）和UNet（29.47 dB，0.8249）。
• 在加速因子为8的fastMRI数据集上，OUCR实现了30.59 dB的PSNR和0.6634的SSIM，优于KIKI-Net（29.27 dB，0.6355）和D5C5（29.65 dB，0.6457）。
• 消融实验表明，在加速因子为4的HPKS数据集上，结合UC-CRNN与OC-CRNN及残差模块的配置达到了最高的PSNR（39.33 dB）和SSIM（0.9747）。
• OUCR模型仅使用119.2万个参数，实现了最先进性能，显著优于UNet（863.4万个）、Kiu-net（795.1万个）和D5C5（223.7万个）。
• k空间分析表明，OUCR在重建低频和高频分量方面均优于所有基线方法，表明其在保留图像对比度和精细细节方面具有优势。
• 统计显著性检验证实，OUCR相较于其他方法的性能提升具有高度显著性（p < 10^-5）