[论文解读] Networks for Joint Affine and Non-parametric Image Registration

Zhengyang Shen, Xu Han+2 more|arXiv (Cornell University)|Mar 21, 2019

Medical Image Segmentation Techniques参考文献 14被引用 11

一句话总结

该论文提出了一种端到端深度学习框架 AVSM，通过向量动量参数化的平稳速度场（vSVF）模型，联合学习仿射变换与非参数化图像配准。该方法采用多步仿射网络，随后是类似 U-Net 的动量生成器，以及基于映射的自迭代 vSVF 组件，实现了显著更快的推理速度与更优的变换正则性（包括对称映射），并达到当前最优的配准精度。

ABSTRACT

We introduce an end-to-end deep-learning framework for 3D medical image registration. In contrast to existing approaches, our framework combines two registration methods: an affine registration and a vector momentum-parameterized stationary velocity field (vSVF) model. Specifically, it consists of three stages. In the first stage, a multi-step affine network predicts affine transform parameters. In the second stage, we use a Unet-like network to generate a momentum, from which a velocity field can be computed via smoothing. Finally, in the third stage, we employ a self-iterable map-based vSVF component to provide a non-parametric refinement based on the current estimate of the transformation map. Once the model is trained, a registration is completed in one forward pass. To evaluate the performance, we conducted longitudinal and cross-subject experiments on 3D magnetic resonance images (MRI) of the knee of the Osteoarthritis Initiative (OAI) dataset. Results show that our framework achieves comparable performance to state-of-the-art medical image registration approaches, but it is much faster, with a better control of transformation regularity including the ability to produce approximately symmetric transformations, and combining affine and non-parametric registration.

研究动机与目标

• 解决传统基于优化的医学图像配准方法存在的计算瓶颈问题。
• 克服现有深度学习配准方法的局限，包括对预对齐的依赖、3D场景下的内存限制以及缺乏迭代优化能力。
• 将仿射与非参数化配准整合到一个单一的、可端到端训练的框架中，同时保持微分同胚性质。
• 通过基于动量的速度场建模，确保变换的平滑性与正则性，尤其在大形变情况下表现优异。
• 在不牺牲空间一致性或对称性的情况下，实现快速、高精度的3D配准。

提出的方法

• 该框架包含三个阶段：多步仿射网络用于初始刚性/仿射变换估计。
• 类似 U-Net 的动量生成网络预测低分辨率初始动量场，经平滑处理后生成速度场。
• 自迭代的基于映射的 vSVF 组件通过变形场的复合迭代优化变换映射，实现非参数化精化。
• 整个模型通过可微图像重采样实现端到端训练，支持反向传播通过配准过程。
• 采用向量动量参数化方法，将平滑性与变换预测解耦，即使在大位移情况下也能确保微分同胚映射。
• 通过映射复合避免冗余的图像插值，提升效率与数值稳定性。

实验结果

研究问题

• RQ1 能否在端到端训练下，通过深度学习框架联合优化仿射与非参数化配准，同时保持变换的正则性？
• RQ2 向量动量参数化是否能提升结果变换的平滑性与微分同胚性质？
• RQ3 在仿射与 vSVF 阶段均采用多步精化，是否能在不增加计算成本的前提下提升配准精度？
• RQ4 与当前最优的基于优化与基于深度学习的配准方法相比，该方法在精度与速度方面表现如何？
• RQ5 该框架在纵向与跨被试者 MRI 配准中，能在多大程度上生成近似对称的变换？

主要发现

• AVSM 框架在 OAI 膝关节 MRI 数据集上的配准性能与当前最优的基于优化的方法相当。
• 该方法显著快于传统迭代优化方法，训练完成后仅需一次前向传播即可完成配准。
• 变换映射表现出高度正则性，即使在大形变或解剖不一致区域，折叠伪影也极少。
• 多步 vSVF 精化过程逐步提升配准精度，且在 Dice 分数较高时趋于饱和。
• 该框架可生成近似对称的变换，这对纵向研究与群体分析至关重要。
• 基于动量的 vSVF 模型通过解耦平滑性与参数预测，确保了即使在大位移下也能实现平滑、微分同胚的映射。