[论文解读] Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation

Zekang Chen, Jia Wei+1 more|arXiv (Cornell University)|Apr 28, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出了一种无需判别器、保持形状一致性的无监督多模态医学图像配准图像到图像翻译框架。通过用像素损失和局部对比损失（PatchNCE）替代对抗性训练，该方法提升了形变场的准确性并减少了伪影，在Learn2Reg 2021数据集上实现了最先进性能，Dice相似系数（DSC）最高达0.966，Hausdorff距离95%分位数（HD95）为4.367。

ABSTRACT

In clinical practice, well-aligned multi-modal images, such as Magnetic Resonance (MR) and Computed Tomography (CT), together can provide complementary information for image-guided therapies. Multi-modal image registration is essential for the accurate alignment of these multi-modal images. However, it remains a very challenging task due to complicated and unknown spatial correspondence between different modalities. In this paper, we propose a novel translation-based unsupervised deformable image registration approach to convert the multi-modal registration problem to a mono-modal one. Specifically, our approach incorporates a discriminator-free translation network to facilitate the training of the registration network and a patchwise contrastive loss to encourage the translation network to preserve object shapes. Furthermore, we propose to replace an adversarial loss, that is widely used in previous multi-modal image registration methods, with a pixel loss in order to integrate the output of translation into the target modality. This leads to an unsupervised method requiring no ground-truth deformation or pairs of aligned images for training. We evaluate four variants of our approach on the public Learn2Reg 2021 datasets \cite{hering2021learn2reg}. The experimental results demonstrate that the proposed architecture achieves state-of-the-art performance. Our code is available at https://github.com/heyblackC/DFMIR.

研究动机与目标

• 为解决基于GAN的多模态配准中图像翻译不准确且不一致的问题，此类问题因判别器对特定领域形变的误判而引入伪影。
• 通过将配准问题转化为单模态配准任务来改进无监督多模态配准，避免依赖真实形变场。
• 通过对比损失和像素损失增强跨模态翻译中的形状一致性和外观保真度，替代对抗性训练。
• 在不使用判别器的情况下实现最先进配准精度，因为判别器被证明会通过鼓励虚假形变而降低性能。
• 在公开数据集上验证方法，并消融关键组件，包括局部与全局损失的作用以及判别器的影响。

提出的方法

• 用无判别器的生成器网络替代标准的基于GAN的图像到图像翻译，以避免因特定领域形变导致的伪影引入。
• 采用局部对比损失（PatchNCE）以在模态间翻译过程中保持结构与形状一致性。
• 使用像素级重建损失，使翻译后的图像与目标模态的外观对齐，从而支持使用单模态相似性度量。
• 整合局部（PatchNCE）与全局（像素损失）对齐损失，引导配准网络学习准确的形变场。
• 仅使用图像相似性端到端训练配准网络，无需真实形变场或配对对齐图像。
• 采用双流架构：一路用于翻译（从源模态到目标模态），一路用于形变场预测，共享特征学习。

实验结果

研究问题

• RQ1 从基于GAN的图像翻译中移除判别器是否能提升多模态医学图像配准中的形状一致性并减少伪影？
• RQ2 在无对抗监督的情况下，对比损失（PatchNCE）是否能有效保持跨模态翻译中的解剖结构？
• RQ3 在无监督设置中，结合外观迁移后，像素损失是否可作为训练配准网络的有效相似性度量？
• RQ4 在缺乏真实标签的情况下，局部与全局对齐损失如何协同提升配准精度？
• RQ5 与基于GAN的基线方法相比，无判别器是否能带来更好的泛化能力和在真实医学影像数据上的性能表现？

主要发现

• 所提方法在Learn2Reg 2021数据集上实现最先进性能，Insp-Exp数据集的Dice相似系数（DSC）为0.938（±0.025），HD95为7.737 mm（±1.791）。
• 在Insp-Exp数据集上，该方法的DSC为0.966（±0.019），HD95为4.367 mm（±1.048），优于所有基线方法，包括SbR和RGPT。
• 消融实验表明，若移除局部（PatchNCE）或全局（像素）损失，性能均会下降，证实二者具有互补作用。
• 包含判别器的变体（w/ dis）性能劣于所提方法，表明判别器会引入有害伪影并降低配准精度。
• 可视化结果表明，所提方法生成的形变场更平滑，边界对齐效果优于RGPT和SbR，尤其在大形变区域表现更优。
• 与RGPT相比，该方法能有效减少形变场中的噪声与抖动，同时避免了SbR在处理大规模解剖变化时的失败。