[论文解读] Unsupervised Deformable Image Registration Using Cycle-Consistent CNN

Boah Kim, Jieun Kim+4 more|arXiv (Cornell University)|Jul 2, 2019

Medical Image Segmentation Techniques参考文献 14被引用 13

一句话总结

本文提出一种基于循环一致性卷积神经网络（CNN）的无监督3D可变形图像配准方法，用于多期相肝脏CT扫描。通过在正向与逆向形变场之间强制执行循环一致性，该方法在每对图像配准时间少于10秒内实现了拓扑结构保持完整、精度高的配准，显著优于以往的无监督方法，在雅可比行列式保持和肿瘤大小估计精度方面表现更优。

ABSTRACT

Medical image registration is one of the key processing steps for biomedical image analysis such as cancer diagnosis. Recently, deep learning based supervised and unsupervised image registration methods have been extensively studied due to its excellent performance in spite of ultra-fast computational time compared to the classical approaches. In this paper, we present a novel unsupervised medical image registration method that trains deep neural network for deformable registration of 3D volumes using a cycle-consistency. Thanks to the cycle consistency, the proposed deep neural networks can take diverse pair of image data with severe deformation for accurate registration. Experimental results using multiphase liver CT images demonstrate that our method provides very precise 3D image registration within a few seconds, resulting in more accurate cancer size estimation.

研究动机与目标

• 为解决现有无监督深度学习方法在3D可变形图像配准中的局限性，特别是折叠伪影和拓扑结构保持性差的问题。
• 开发一种方法，确保逆向一致性与拓扑完整性，且无需依赖真实形变场作为监督信号。
• 通过单一训练网络实现任意一对多期相肝脏CT图像的快速、精确配准。
• 通过最小化动态对比增强CT中的误配准，提升肿瘤大小估计的诊断准确性。
• 相比传统方法（如Elastix，每对配准耗时约19.6分钟），显著降低计算时间。

提出的方法

• 该方法采用两个基于3D U-Net的网络：一个用于从图像A到B的形变（G_AB），另一个用于从B到A的形变（G_BA），两者端到端联合训练。
• 空间变换网络将预测的形变场应用于移动图像，以将其配准到固定图像，从而最小化图像强度差异。
• 通过将逆向形变场重新应用于已形变的图像，强制执行循环一致性，确保输出与原始移动图像高度匹配。
• 损失函数结合了图像相似性（MSE）、循环一致性损失（重构误差）和身份损失，以稳定训练并保持拓扑结构。
• 网络使用Adam优化器进行训练，固定初始学习率为0.0001，批量大小为1，单张GPU训练。
• 训练完成后，仅需一个网络即可对任意新图像对进行推理，实现每对图像配准时间少于10秒。

实验结果

研究问题

• RQ1 在双网络CNN框架中，循环一致性是否能提升3D可变形图像配准中的拓扑结构保持性？
• RQ2 通过循环一致性强制实现逆向一致性，是否能减少折叠伪影和雅可比行列式违反？
• RQ3 单一训练网络是否能泛化至任意多期相肝脏CT图像对，而无需重新训练？
• RQ4 与监督和无监督基线方法相比，该方法在目标配准误差（TRE）和肿瘤大小估计精度方面表现如何？
• RQ5 与经典配准工具（如Elastix）相比，该方法的推理速度如何？

主要发现

• 所提方法在动脉期到门静脉期配准时实现了4.91 mm的平均目标配准误差（TRE），在延迟期到门静脉期配准时为3.76 mm，优于VoxelMorph-1，接近Elastix表现。
• 在延迟期到门静脉期配准中，形变图像与固定图像之间的肿瘤大小差异最小化至0.59 mm（长轴）和0.43 mm（短轴），表明诊断精度更优。
• 非正雅可比行列式体素占比降低至1.75%（动脉期到门静脉期）和1.81%（延迟期到门静脉期），表明具有强拓扑结构保持能力。
• 原始图像与重新形变图像之间的归一化均方误差（NMSE）分别为0.0277和0.0199，证实了循环一致性有效。
• 推理时间仅为每对图像10秒，相比Elastix的19.64分钟，实现了118倍加速。
• 消融实验表明，若移除循环损失或身份损失，性能显著下降，验证了二者在模型稳定性和拓扑保持中的关键作用。