[论文解读] Real-time Deep Registration With Geodesic Loss.

Seyed Sadegh Mohseni Salehi, Shadab Khan+2 more|arXiv (Cornell University)|Mar 15, 2018

Fetal and Pediatric Neurological DisordersMedicine参考文献 25被引用 18

一句话总结

本文提出一种基于回归卷积神经网络（CNN）的实时深度学习方法，用于3D医学图像配准，通过轴角表示法预测3D位姿（旋转与平移），并采用测地线损失显著提升精度与捕获范围。该方法在胎儿及新生儿脑部MRI上实现<100ms的推理速度，通过基于条件生成对抗网络（cGAN）的域自适应实现跨图像对比度的泛化，并可增强基于优化的配准流水线性能。

ABSTRACT

With an aim to increase the capture range and accelerate the performance of state-of-the-art inter-subject and subject-to-template 3D registration, we propose deep learning-based methods that are trained to find the 3D position of arbitrarily oriented subjects or anatomy based on slices or volumes of medical images. For this, we propose regression CNNs that learn to predict the angle-axis representation of 3D rotations and translations using image features. We use and compare mean square error and geodesic loss for training regression CNNs in two different scenarios: 3D pose estimation from slices and 3D to 3D registration. As an exemplary application, we applied the proposed methods to register arbitrarily oriented reconstructed images of fetuses scanned in-utero at a wide gestational age range to a standard atlas space. Our results show that in such registration applications that are amendable to learning, the proposed deep learning methods with geodesic loss minimization can achieve accurate results with a wide capture range in real-time (<100ms). We tested the generalization capability of the trained CNNs on an expanded age range and on images of newborn subjects with similar and different MR image contrasts. We trained our models on T2-weighted fetal brain MRI scans and used them to predict the 3D position of newborn brains based on T1-weighted MRI scans. We showed that trained models generalized well for the new domain when we performed image contrast transfer through a conditional generative adversarial network. This indicates that the domain of application of the trained deep regression CNNs can be further expanded to image modalities and contrasts other than those used in training. A combination of our proposed methods with optimization-based registration algorithms can dramatically enhance the performance of automatic imaging devices and image processing methods of the future.

研究动机与目标

• 解决当前最先进的跨被试与被试到模板3D配准方法在医学影像中捕获范围有限且速度较慢的问题。
• 实现在任意方向的解剖结构上，从2D切片或3D体数据中实时、准确地估计3D位姿。
• 通过基于条件生成对抗网络（cGAN）的域自适应，提升在不同图像对比度和年龄范围下的泛化能力。
• 证明测地线损失在学习3D配准的旋转和平移参数方面优于均方误差。
• 将学习到的初始化方法与基于优化的配准流程结合，以提升未来全自动医学影像系统的表现。

提出的方法

• 训练卷积神经网络（CNN）从输入医学图像中回归3D旋转和平移的轴角表示法。
• 对比使用均方误差（MSE）与测地线损失进行训练，以优化旋转和平移的准确性。
• 将模型应用于从2D切片进行3D位姿估计，以及全3D体素到体素的配准任务。
• 利用条件生成对抗网络（cGAN）将T2加权胎儿脑MRI的图像对比度迁移至T1加权新生儿脑MRI，以实现域泛化。
• 将深度回归预测结果作为基于优化的配准流水线中的初始估计，以提升收敛速度与精度。
• 在涵盖广泛胎龄范围的宫内胎儿MRI以及具有不同对比度的新生儿T1加权扫描上评估性能。

实验结果

研究问题

• RQ1 与均方误差相比，测地线损失是否能提升基于深度学习的3D位姿估计在医学图像配准中的精度与捕获范围？
• RQ2 在T2加权胎儿脑MRI上训练的CNN，在面对具有不同图像对比度的T1加权新生儿脑MRI时，其泛化能力如何？
• RQ3 深度回归与基于优化的配准相结合，在提升整体配准性能方面有多有效？
• RQ4 条件生成对抗网络（cGAN）是否能成功实现图像对比度迁移，从而扩展训练好的回归模型的适用域？
• RQ5 所提出方法的推理速度如何？是否能实现临床部署所需的实时性能（<100ms）？

主要发现

• 所提方法实现实时性能，推理时间低于100ms，可实际部署于临床工作流程。
• 与均方误差相比，测地线损失显著提升了配准精度与捕获范围，尤其在旋转分量上表现更优。
• 结合基于条件GAN的图像转换后，训练好的CNN在具有不同对比度的新生儿脑MRI扫描上表现出良好泛化能力。
• 在超出模型原始分布年龄范围的测试中，模型仍保持高精度，表明其具备强大鲁棒性。
• 将学习到的初始化与基于优化的方法结合，可实现更快收敛与更高的最终配准精度。
• 该方法在不同成像模态间表现出良好的可迁移性，表明其应用潜力远超特定训练数据。