[论文解读] Progressively Volumetrized Deep Generative Models for Data-Efficient Contextual Learning of MR Image Recovery

Mahmut Yurt, Muzaffer Özbey+4 more|arXiv (Cornell University)|Nov 27, 2020

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出ProvoGAN，一种渐进式体素化框架，将3D MRI重建分解为沿矢状、冠状和轴向方向的顺序2D横截面映射。通过结合体素建模的上下文优势与2D学习的数据效率，ProvoGAN在MRI重建与合成任务中实现了最先进性能，同时保持了较低的模型复杂度和更优的训练行为。

ABSTRACT

Magnetic resonance imaging (MRI) offers the flexibility to image a given anatomic volume under a multitude of tissue contrasts. Yet, scan time considerations put stringent limits on the quality and diversity of MRI data. The gold-standard approach to alleviate this limitation is to recover high-quality images from data undersampled across various dimensions, most commonly the Fourier domain or contrast sets. A primary distinction among recovery methods is whether the anatomy is processed per volume or per cross-section. Volumetric models offer enhanced capture of global contextual information, but they can suffer from suboptimal learning due to elevated model complexity. Cross-sectional models with lower complexity offer improved learning behavior, yet they ignore contextual information across the longitudinal dimension of the volume. Here, we introduce a novel progressive volumetrization strategy for generative models (ProvoGAN) that serially decomposes complex volumetric image recovery tasks into successive cross-sectional mappings task-optimally ordered across individual rectilinear dimensions. ProvoGAN effectively captures global context and recovers fine-structural details across all dimensions, while maintaining low model complexity and improved learning behaviour. Comprehensive demonstrations on mainstream MRI reconstruction and synthesis tasks show that ProvoGAN yields superior performance to state-of-the-art volumetric and cross-sectional models.

研究动机与目标

• 解决3D体素网络中上下文建模与2D横截面模型中数据效率之间的权衡。
• 克服3D生成模型在MRI恢复中模型复杂度高和数据需求量大的局限。
• 通过将体素任务串行分解为优化的2D子任务，改善学习行为并提升结构细节恢复能力。
• 在不增加模型复杂度或内存需求的前提下，实现在所有维度上的有效上下文学习。

提出的方法

• 提出一种渐进式体素化策略，通过专用的2D生成模型，沿直线方向（轴向、冠状、矢状）顺序处理MRI体素。
• 在源自源体素的横截面上训练每个2D模型，将前一阶段的输出作为下一阶段的输入，逐步重建完整的3D体素。
• 为每个2D映射采用条件生成对抗网络（cGAN）框架，实现高保真度的图像合成与重建。
• 按优化任务特定恢复效果的顺序排列方向处理流程，支持基于解剖上下文的自适应重排。
• 通过模型并行化实现完整渐进式流程的端到端训练，以提升性能与特征一致性。
• 利用预训练的2D模型进行模型初始化或迁移学习，以改善收敛性与泛化能力。

实验结果

研究问题

• RQ1 将3D MRI恢复渐进式分解为2D横截面映射，是否能在保持低模型复杂度的同时，实现优于标准2D模型的上下文建模？
• RQ2 在多个直线方向上顺序处理是否能提升恢复性能，相比单方向2D或完整3D模型？
• RQ3 渐进式体素化策略在多大程度上提升了细粒度结构的恢复能力与纵向切片间的一致性？
• RQ4 在不同数据可用性与分辨率条件下，特别是各向异性或厚层扫描条件下，ProvoGAN的性能表现如何？

主要发现

• ProvoGAN在脑部与膝关节MRI数据集的MRI重建与合成任务中，均优于当前最先进水平的体素与横截面模型。
• 与基线3D与2D模型相比，ProvoGAN在结构相似性（SSIM）与信噪比（PSNR）方面表现更优，尤其在恢复精细解剖细节方面优势显著。
• 尽管处理完整3D体素，ProvoGAN仍保持低模型复杂度与更优的训练行为，得益于将任务分解为可管理的2D子任务。
• 渐进式方法减少了误差传播，提升了纵向切片间的一致性，缓解了独立横截面处理中常见的伪影问题。
• 性能提升在各向同性或近各向同性分辨率数据集中最为显著，但即使在各向异性扫描中仍能保持优势。
• 该框架在不同MRI对比类型（包括T1、T1c、T2与FLAIR）中均表现出良好泛化能力，证明了其对多样化扫描协议的鲁棒性。