[论文解读] VORTEX: Physics-Driven Data Augmentations Using Consistency Training for Robust Accelerated MRI Reconstruction

Arjun Desai, Beliz Gunel+7 more|arXiv (Cornell University)|Nov 3, 2021

Medical Imaging Techniques and Applications被引用 5

一句话总结

VORTEX 提出了一种基于物理的半监督一致性训练框架，用于加速磁共振成像（MRI）重建，通过使用领域感知的数据增强方法（如噪声和运动伪影）以及基于图像的增强，提升模型的鲁棒性和标签效率。该方法在分布外运动伪影数据上，相比监督和自监督基线模型，SSIM 提升最高达 +0.124，cPSNR 提升最高达 +7.0 dB，同时保持了强大的分布内性能。

ABSTRACT

Deep neural networks have enabled improved image quality and fast inference times for various inverse problems, including accelerated magnetic resonance imaging (MRI) reconstruction. However, such models require a large number of fully-sampled ground truth datasets, which are difficult to curate, and are sensitive to distribution drifts. In this work, we propose applying physics-driven data augmentations for consistency training that leverage our domain knowledge of the forward MRI data acquisition process and MRI physics to achieve improved label efficiency and robustness to clinically-relevant distribution drifts. Our approach, termed VORTEX, (1) demonstrates strong improvements over supervised baselines with and without data augmentation in robustness to signal-to-noise ratio change and motion corruption in data-limited regimes; (2) considerably outperforms state-of-the-art purely image-based data augmentation techniques and self-supervised reconstruction methods on both in-distribution and out-of-distribution data; and (3) enables composing heterogeneous image-based and physics-driven data augmentations. Our code is available at https://github.com/ad12/meddlr.

研究动机与目标

• 为解决完全采样MRI数据有限的问题，此类数据获取成本高且耗时长。
• 提升基于深度学习的MRI重建模型对临床相关分布偏移（如信噪比SNR变化和运动伪影）的鲁棒性。
• 克服基于数据增强方法中常见的分布内与分布外泛化性能之间的权衡问题。
• 通过一致性训练框架，有效利用未标注的、欠采样的MRI数据，该框架融合了基于物理的增强方法。
• 支持图像增强与基于物理的增强的组合，以提升模型泛化能力。

提出的方法

• VORTEX 采用半监督一致性训练框架，同时利用标注数据（完全采样）和未标注数据（仅欠采样）进行MRI训练。
• 基于磁共振成像的前向采集模型和已知的MRI物理原理，应用基于物理的数据增强（如模拟噪声和运动伪影）。
• 对于未标注数据，模型通过重建生成伪参考图像，增强后的版本被优化以匹配这些伪标签，从而在基于物理的扰动下保持不变性。
• 通过调度基于物理的增强难度，实现课程学习，从较轻微的扰动逐步过渡到更强的扰动。
• 在统一的训练目标下，实现图像增强（如旋转、缩放、翻转）与基于物理的增强（如运动、噪声）的组合。
• 一致性目标将Noise2Recon去噪框架推广至支持更广泛的基于MRI物理的增强，且无需保留训练噪声统计特性。

实验结果

研究问题

• RQ1 基于物理的增强是否能提升加速MRI重建中对临床相关分布偏移的鲁棒性？
• RQ2 在标签稀缺场景下，基于物理的增强与一致性训练是否优于纯图像增强方法？
• RQ3 统一框架能否有效组合图像增强与基于物理的增强，以提升模型泛化能力？
• RQ4 VORTEX是否缓解了以往基于增强方法中常见的分布内与分布外泛化性能之间的权衡？
• RQ5 使用未标注数据生成的伪标签进行一致性训练，是否能在不降低分布内性能的前提下提升标签效率？

主要发现

• 在数据受限场景下，VORTEX 在严重运动伪影扫描中相比监督基线模型，SSIM 提升 +0.106，cPSNR 提升 +5.3 dB。
• 在 fastMRI 多线圈脑部数据集上，8倍加速条件下，VORTEX 在运动水平 α=1.0 时相比 SSDU 实现 +0.124 SSIM 和 +7.0 dB cPSNR 的性能提升。
• 在 α=1.0 时，VORTEX 相比 MRAugment 实现 +0.119 SSIM 和 +7.0 dB cPSNR 的提升，表明其对分布外运动伪影具有更强的鲁棒性。
• VORTEX 保持了强大的分布内性能，在分布内数据上达到 0.840 SSIM 和 29.0 cPSNR，与最先进基线模型相当。
• 在所有运动水平下，VORTEX 均优于 SSDU 和 MRAugment，在噪声污染数据上保持 +0.089 SSIM 和 +2.5 dB cPSNR 的一致增益。
• 样本重建结果表明，VORTEX 比基线方法更好地抑制了相干性伪影，同时保留了细小血管结构的细节，避免了 SSDU 中常见的模糊现象。