[论文解读] Predicting Slice-to-Volume Transformation in Presence of Arbitrary Subject Motion

Benjamin Hou, Amir Alansary+7 more|arXiv (Cornell University)|Feb 28, 2017

Fetal and Pediatric Neurological Disorders参考文献 13被引用 5

一句话总结

该论文提出了一种基于深度学习的回归方法，利用卷积神经网络（CNNs）从2D MRI和CT切片中预测3D切片到体积的变换，从而实现基于强度的2D/3D配准的精确初始化。该方法在模拟脑部MRI上的平均预测误差为7mm，并在严重运动伪影下实现了高质量的胎儿MRI重建，每切片推理时间低于10ms。

ABSTRACT

This paper aims to solve a fundamental problem in intensity-based 2D/3D registration, which concerns the limited capture range and need for very good initialization of state-of-the-art image registration methods. We propose a regression approach that learns to predict rotation and translations of arbitrary 2D image slices from 3D volumes, with respect to a learned canonical atlas co-ordinate system. To this end, we utilize Convolutional Neural Networks (CNNs) to learn the highly complex regression function that maps 2D image slices into their correct position and orientation in 3D space. Our approach is attractive in challenging imaging scenarios, where significant subject motion complicates reconstruction performance of 3D volumes from 2D slice data. We extensively evaluate the effectiveness of our approach quantitatively on simulated MRI brain data with extreme random motion. We further demonstrate qualitative results on fetal MRI where our method is integrated into a full reconstruction and motion compensation pipeline. With our CNN regression approach we obtain an average prediction error of 7mm on simulated data, and convincing reconstruction quality of images of very young fetuses where previous methods fail. We further discuss applications to Computed Tomography and X-ray projections. Our approach is a general solution to the 2D/3D initialization problem. It is computationally efficient, with prediction times per slice of a few milliseconds, making it suitable for real-time scenarios.

研究动机与目标

• 解决当前基于强度的2D/3D配准方法捕获范围有限且对初始化敏感的问题。
• 在存在任意受试者运动的情况下，实现自动、实时的2D/3D配准初始化，特别是在胎儿MRI等具有挑战性的临床场景中。
• 提供一种可泛化的、计算高效的切片到体积配准解决方案，无需依赖人工或基于标志点的初始化。
• 通过预测数字重建放射影像（DRRs）的变换，将适用性扩展至X射线/CT配准。
• 在无需器官特异性微调的情况下，展示在多种成像场景（包括成人脑部、胸部和病理CT扫描）中的鲁棒性能。

提出的方法

• 训练一个名为SVRNet的CNN回归模型，以预测2D切片相对于标准图谱坐标系的刚性变换参数（旋转和位移）。
• 使用斐波那契球面采样从3D体积中提取合成2D切片来训练网络，以生成多样化的方向和位置。
• 对输入切片进行归一化和预处理，以确保一致的强度范围、间距和位移偏移，匹配训练分布。
• 将预测的变换用于初始化后续基于强度的2D/3D配准（SVR），从而提高收敛性和准确性。
• 通过从类似X射线的2D投影中预测DRR（数字重建放射影像）变换，将方法推广至投影成像。
• 训练使用了包含60例成人胸部CT扫描的大规模数据集，其中51例用于训练，9例用于验证，并包含病理体积以评估鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否仅基于强度信息准确预测2D MRI切片在3D空间中的变换，即使在极端运动下？
• RQ2 与传统方法相比，所提出的基于CNN的回归方法是否显著提升了2D/3D配准的捕获范围和鲁棒性？
• RQ3 该方法是否可在无需模态特异性微调的情况下，有效应用于低剂量CT和X射线/CT配准？
• RQ4 当标准方法因运动伪影而失效时，该方法在重建高度运动伪影胎儿MRI方面的表现如何？
• RQ5 该模型在不同解剖区域和成像协议之间泛化程度如何？

主要发现

• 在模拟的成人脑部幻影中提取的极端随机运动2D MRI切片上，该方法的平均预测误差为7mm。
• 在胎儿MRI数据上，该方法实现了高质量的3D重建，而标准切片到体积配准因运动伪影而失败。
• 在低剂量胸部CT中，结合后续SVR优化后，重建体积的PSNR达到28dB。
• 从2D投影预测DRR变换时，该方法在健康患者中平均位移误差为106mm，旋转误差为5.6°；在病理病例中分别为130mm和7.0°。
• 每切片的预测推理时间低于10ms，支持在临床工作流中实时部署。
• 该方法在不同成像模态间具有良好的泛化能力，且在初始训练后无需进行器官特异性或模态特异性微调。