[论文解读] On Real-time Image Reconstruction with Neural Networks for MRI-guided Radiotherapy

David E. J. Waddington, Nicholas Hindley+9 more|arXiv (Cornell University)|Feb 10, 2022

Advanced Radiotherapy Techniques被引用 5

一句话总结

本文提出使用AUTOMAP神经网络框架，实现对MRI引导放疗中欠采样径向MRI数据的实时、高精度重建。该方法在肺癌患者数据上进行训练，并通过YouTube视频中的运动编码k空间数据进行数据增强，其重建速度远超压缩感知，同时保持高精度，并在动态体模中提升了肿瘤追踪性能。

ABSTRACT

MRI-guidance techniques that dynamically adapt radiation beams to follow tumor motion in real-time will lead to more accurate cancer treatments and reduced collateral healthy tissue damage. The gold-standard for reconstruction of undersampled MR data is compressed sensing (CS) which is computationally slow and limits the rate that images can be available for real-time adaptation. Here, we demonstrate the use of automated transform by manifold approximation (AUTOMAP), a generalized framework that maps raw MR signal to the target image domain, to rapidly reconstruct images from undersampled radial k-space data. The AUTOMAP neural network was trained to reconstruct images from a golden-angle radial acquisition, a benchmark for motion-sensitive imaging, on lung cancer patient data and generic images from ImageNet. Model training was subsequently augmented with motion-encoded k-space data derived from videos in the YouTube-8M dataset to encourage motion robust reconstruction. We find that AUTOMAP-reconstructed radial k-space has equivalent accuracy to CS but with much shorter processing times after initial fine-tuning on retrospectively acquired lung cancer patient data. Validation of motion-trained models with a virtual dynamic lung tumor phantom showed that the generalized motion properties learned from YouTube lead to improved target tracking accuracy. Our work shows that AUTOMAP can achieve real-time, accurate reconstruction of radial data. These findings imply that neural-network-based reconstruction is potentially superior to existing approaches for real-time image guidance applications.

研究动机与目标

• 开发一种用于MRI引导放疗的实时图像重建方法，以克服压缩感知的计算局限性。
• 实现实时、高精度的欠采样径向k空间数据重建，这些数据采用黄金角轨迹采集。
• 通过在YouTube视频中提取的通用运动模式训练神经网络，提升图像重建的运动鲁棒性。
• 使用体素动态肺肿瘤体模和回顾性患者数据验证所提方法的性能。
• 证明基于数据驱动的深度学习在MRI-Linac系统中实现实时图像引导的可行性。

提出的方法

• 采用AUTOMAP框架，这是一种广义神经网络，可学习从原始k空间信号到图像空间的映射。
• 在回顾性获取的肺癌患者径向k空间数据和ImageNet图像上训练AUTOMAP模型。
• 通过YouTube-8M数据集中视频合成的运动编码k空间数据对训练进行增强，以提升运动鲁棒性。
• 采用黄金角径向采样，以实现高时间分辨率和对运动不敏感的重建。
• 通过单次前向传播推理实现实时重建，避免了压缩感知中使用的迭代优化。
• 使用归一化均方根误差（NRMSE）和动态体模中的肿瘤追踪精度评估性能。

实验结果

研究问题

• RQ1 基于深度学习的重建框架如AUTOMAP能否实现实时MRI引导放疗的图像重建？
• RQ2 在欠采样径向数据上，AUTOMAP与压缩感知相比，在重建速度和精度方面表现如何？
• RQ3 来自YouTube视频的通用运动模式能否提升神经网络在动态成像中重建的运动鲁棒性？
• RQ4 运动增强训练是否能提升虚拟动态肺肿瘤体模中的肿瘤追踪精度？
• RQ5 AUTOMAP在保持高图像质量和低延迟的同时，能否泛化到真实患者数据？

主要发现

• AUTOMAP在回顾性获取的肺癌数据上实现的重建时间显著快于压缩感知，同时保持了相当的图像质量。
• 仅在患者数据上训练的模型实现了与压缩感知相当的NRMSE，证明了其高重建精度。
• 经过运动增强的AUTOMAP模型在虚拟动态肺肿瘤体模中表现出更低的NRMSE和更高的肿瘤追踪精度，优于未进行运动训练的模型。
• 引入来自YouTube的运动数据使网络能够学习通用的运动特性，从而提高了对非刚性运动的鲁棒性。
• AUTOMAP对白噪声表现出鲁棒性，反映出其对MRI中固有的热噪声限制的处理能力。
• 结果表明，与压缩感知相比，基于数据驱动的AUTOMAP重建是MRI-Linac系统中实时图像引导的更优选择。