[论文解读] Recurrent Registration Neural Networks for Deformable Image Registration

Robin Sandkühler, Simon Andermatt+4 more|arXiv (Cornell University)|Jun 7, 2019

Medical Image Segmentation Techniques参考文献 27被引用 9

一句话总结

本文提出循环注册神经网络（R2N2），一种新颖的基于序列的深度学习方法，用于可变形图像配准，通过迭代应用局部参数化形变实现精确、紧凑且快速的配准。与标准B样条配准不同，R2N2学习一系列递归的局部变换，实现与B样条方法相当的精度，同时速度提升15倍，且仅需其最终变换所需参数的7.6%。

ABSTRACT

Parametric spatial transformation models have been successfully applied to image registration tasks. In such models, the transformation of interest is parameterized by a fixed set of basis functions as for example B-splines. Each basis function is located on a fixed regular grid position among the image domain, because the transformation of interest is not known in advance. As a consequence, not all basis functions will necessarily contribute to the final transformation which results in a non-compact representation of the transformation. We reformulate the pairwise registration problem as a recursive sequence of successive alignments. For each element in the sequence, a local deformation defined by its position, shape, and weight is computed by our recurrent registration neural network. The sum of all local deformations yield the final spatial alignment of both images. Formulating the registration problem in this way allows the network to detect non-aligned regions in the images and to learn how to locally refine the registration properly. In contrast to current non-sequence-based registration methods, our approach iteratively applies local spatial deformations to the images until the desired registration accuracy is achieved. We trained our network on 2D magnetic resonance images of the lung and compared our method to a standard parametric B-spline registration. The experiments show, that our method performs on par for the accuracy but yields a more compact representation of the transformation. Furthermore, we achieve a speedup of around 15 compared to the B-spline registration.

研究动机与目标

• 解决传统参数化B样条配准在可变形医学图像配准中效率低下且表示不紧凑的问题。
• 通过将变换建模为一系列局部形变而非固定基函数网格，提升配准速度与表示紧凑性。
• 实现端到端的无监督训练，用于递归网络的迭代图像对齐。
• 在肺部MRI的不同解剖区域和呼吸阶段实现高精度配准。
• 探索使用循环网络进行可变形图像配准的可行性，这是RNN在医学影像中的一项新颖应用。

提出的方法

• R2N2将成对可变形图像配准表述为一系列局部形变的递归过程，每一步应用一个学习得到的局部变换。
• 在每个时间步，网络使用递归结构预测由位置、形状和权重定义的局部形变。
• 最终变换为所有局部形变的累积和，实现紧凑且自适应的表示。
• 网络通过结合图像重建损失（MSE）与总变差（TV）正则化，以无监督方式训练。
• 该架构采用类似U-Net的编码器-解码器结构进行特征提取与形变预测，并使用空间变换层应用预测的形变。
• 训练在2D肺部MRI数据上进行，涵盖多个呼吸阶段，采用渐进式分辨率缩放，并基于验证损失进行早停。

实验结果

研究问题

• RQ1 循环神经网络能否通过局部形变迭代优化图像配准，实现与标准B样条配准相当的性能？
• RQ2 与固定基函数相比，基于序列的方法是否能实现更紧凑的最终变换表示？
• RQ3 R2N2方法能否在保持高精度的同时，实现相对于传统B样条配准的显著速度提升？
• RQ4 该方法在肺部MRI的不同解剖切片位置和呼吸阶段之间是否具有良好的泛化能力？
• RQ5 无监督训练的循环网络能否有效学习复杂、非刚性形变，而无需真实形变场监督？

主要发现

• R2N2在所有切片上实现平均目标配准误差（TRE）为1.16 mm，与同一测试集上标准B样条方法（1.10 mm）的性能相当。
• 该方法将描述最终变换所需的参数数量减少至B样条方法的7.6%，表明具有高度紧凑的表示能力。
• 配准计算时间减少约15倍，从B样条的~4.5秒降至每对图像约0.3秒（在NVIDIA GTX 1080上）。
• 网络在不同切片位置和呼吸阶段之间具有良好的泛化能力，即使患者切片位置各异，性能也保持一致。
• 视觉分析显示，R2N2能够学习在高运动区域（如膈肌）初始应用大范围形变，并在后续步骤中通过更小、更局部的形变进行精细化调整。
• 该方法对图像内容和运动模式的变化表现出鲁棒性，在不同解剖区域均无显著性能下降。