[论文解读] TransMorph: Transformer for unsupervised medical image registration

Junyu Chen, Eric C. Frey+4 more|arXiv (Cornell University)|Nov 19, 2021

Medical Image Segmentation Techniques参考文献 61被引用 12

一句话总结

TransMorph 提出了一种用于无监督3D医学图像配准的混合Transformer-ConvNet架构，利用自注意力机制建模长程空间依赖性，从而提升配准精度。该方法在脑部MRI与CT配准任务中均达到最先进性能，其微分同胚与贝叶斯变体分别确保了拓扑结构的保持与不确定性估计。

ABSTRACT

In the last decade, convolutional neural networks (ConvNets) have been a major focus of research in medical image analysis. However, the performances of ConvNets may be limited by a lack of explicit consideration of the long-range spatial relationships in an image. Recently Vision Transformer architectures have been proposed to address the shortcomings of ConvNets and have produced state-of-the-art performances in many medical imaging applications. Transformers may be a strong candidate for image registration because their substantially larger receptive field enables a more precise comprehension of the spatial correspondence between moving and fixed images. Here, we present TransMorph, a hybrid Transformer-ConvNet model for volumetric medical image registration. This paper also presents diffeomorphic and Bayesian variants of TransMorph: the diffeomorphic variants ensure the topology-preserving deformations, and the Bayesian variant produces a well-calibrated registration uncertainty estimate. We extensively validated the proposed models using 3D medical images from three applications: inter-patient and atlas-to-patient brain MRI registration and phantom-to-CT registration. The proposed models are evaluated in comparison to a variety of existing registration methods and Transformer architectures. Qualitative and quantitative results demonstrate that the proposed Transformer-based model leads to a substantial performance improvement over the baseline methods, confirming the effectiveness of Transformers for medical image registration.

研究动机与目标

• 解决卷积神经网络（ConvNets）由于感受野局部性而难以建模医学图像中长程空间关系的局限性。
• 利用视觉Transformer的全局建模能力，增强可变形图像配准中的空间对应学习。
• 设计一种结合Transformer与ConvNets的混合架构，以平衡全局上下文理解与局部特征学习。
• 引入微分同胚与贝叶斯变体，确保拓扑结构保持的形变，并提供校准的不确定性估计。
• 在多种3D医学影像任务中验证模型性能，包括跨患者脑部MRI、图谱到患者MRI以及模体到CT的配准。

提出的方法

• 提出TransMorph，一种混合Transformer-ConvNet架构，利用多头自注意力机制捕捉体素图像中的长程依赖关系。
• 采用类似U-Net的编码器-解码器结构，在瓶颈层使用Transformer模块，并通过跳跃连接保留空间细节。
• 通过图像重建损失与基于负证据下界（ELBO）的正则化项，实现无监督训练。
• 引入微分同胚变体，采用三次B样条变换，确保形变场平滑、可逆且保持拓扑结构。
• 实现贝叶斯变体，通过将形变场建模为具有可学习均值与方差的变分后验分布，实现不确定性估计。
• 在训练过程中使用重参数化技术对形变场进行随机采样，从而实现不确定性感知损失的端到端优化。

实验结果

研究问题

• RQ1 视觉Transformer是否能通过更有效地建模长程空间依赖性，从而提升深度学习方法在医学图像配准中的性能，超越传统ConvNets？
• RQ2 混合Transformer-ConvNet架构是否在无监督3D医学图像配准任务中优于标准的U-Net基线模型？
• RQ3 能否在基于Transformer的配准框架中有效集成微分同胚约束，以确保平滑、可逆的变换？
• RQ4 贝叶斯推断是否可成功应用于基于Transformer的配准方法，以生成校准良好的不确定性估计？
• RQ5 TransMorph在多种3D医学影像应用（包括脑部MRI与CT配准）中与最先进方法相比表现如何？

主要发现

• TransMorph在所有评估任务中均达到最先进配准精度，包括跨患者与图谱到患者的脑部MRI配准。
• TransMorph的贝叶斯变体生成了校准良好的不确定性估计，其不确定性图与解剖结构及高变形区域高度一致。
• 微分同胚变体确保了拓扑结构保持的形变，形变场中未出现折叠或不可逆变换。
• 定量评估显示，TransMorph在归一化互信息（NMI）与Dice相似性等指标上均优于基线方法，包括U-Net基线模型及其他Transformer架构。
• 该模型在不同成像对比度与解剖结构上表现出强泛化能力，尤其在低对比度与高变形场景中表现稳健。
• 引入辅助分割标签可进一步提升配准性能，尤其在组织边界复杂的区域表现更优。