[论文解读] Synth-by-Reg (SbR): Contrastive learning for synthesis-based registration of paired images

Adrià Casamitjana, Matteo Mancini+1 more|arXiv (Cornell University)|Jul 30, 2021

AI in cancer detection参考文献 42被引用 23

一句话总结

本文提出Synth-by-Reg（SbR），一种新颖的无监督跨模态图像配准框架，通过使用冻结的配准网络来引导图像合成，颠覆了传统的合成-配准方法。它引入了一种基于ℓ1相似性的配准损失和一种基于对比学习的几何一致性损失，以防止模糊和伪影，相较于基于互信息的方法在组织学-磁共振成像配准中实现13%更低的标志性点误差，相较于CycleGAN降低11%，性能与有监督方法相当。

ABSTRACT

Nonlinear inter-modality registration is often challenging due to the lack of objective functions that are good proxies for alignment. Here we propose a synthesis-by-registration method to convert this problem into an easier intra-modality task. We introduce a registration loss for weakly supervised image translation between domains that does not require perfectly aligned training data. This loss capitalises on a registration U-Net with frozen weights, to drive a synthesis CNN towards the desired translation. We complement this loss with a structure preserving constraint based on contrastive learning, which prevents blurring and content shifts due to overfitting. We apply this method to the registration of histological sections to MRI slices, a key step in 3D histology reconstruction. Results on two different public datasets show improvements over registration based on mutual information (13% reduction in landmark error) and synthesis-based algorithms such as CycleGAN (11% reduction), and are comparable to a registration CNN with label supervision. Code and data are publicly available at \url{https://github.com/acasamitjana/SynthByReg}

研究动机与目标

• 解决非线性跨模态配准的挑战，特别是在组织学-磁共振成像配准中，传统相似性度量（如互信息）表现不佳。
• 克服基于GAN的合成方法的局限性，如由于过拟合导致的幻觉、模糊和伪影。
• 开发一种弱监督、无监督的框架，无需完全对齐的训练数据或复杂的对抗性训练。
• 通过利用冻结的配准网络作为可微分的监督信号，提升图像合成的配准精度。
• 通过在局部图像块层面使用对比学习确保合成图像的几何保真度，防止内容偏移和结构退化。

提出的方法

• 该方法使用在目标域（如MRI）图像对上训练的冻结U-Net结构配准网络R(θR)，预测形变场，用作图像合成的监督信号。
• 一个合成CNN G(θG) 使用一种新颖的配准损失Lreg，将源图像（如组织学图像）转换为目标模态（如MRI），Lreg衡量目标图像T与形变后的合成图像ST(Φ)之间的ℓ1相似性。
• 引入一种基于PatchNCE的对比几何一致性损失Lgeo，强制源图像和合成图像中的局部图像块在语义上对齐，防止模糊和内容偏移。
• 总损失为L(θG) = Lreg + λgeo·Lgeo，其中λgeo = 0.02，通过冻结配准网络端到端反向传播训练。
• 该框架避免使用循环一致性或分布匹配损失（如CycleGAN），从而降低训练不稳定性与内存占用。
• 该方法输出合成图像与形变场，可直接用于下游配准任务。

实验结果

研究问题

• RQ1 能否将冻结的配准网络用作训练图像合成网络的监督信号，以实现跨模态配准？
• RQ2 与标准GAN方法相比，引入基于对比学习的几何一致性损失是否能提升合成图像的结构保真度？
• RQ3 在非线性、非刚性条件下，基于合成的配准方法是否能优于传统的跨模态配准度量（如互信息）？
• RQ4 所提出方法在组织学-磁共振成像转换中，能在多大程度上减少模糊和对比度翻转等伪影？
• RQ5 该方法是否能在不依赖真实形变场或分割标签的情况下，实现与有监督配准相当的性能？

主要发现

• 在Allen人脑图谱数据集上，SbR相较于基于互信息的配准方法，标志性点误差降低13%，p值 < 0.001。
• 在BigBrain数据集上，SbR相较于cGAN将标志性点误差降低23%，相较于RoT降低33%，均具有统计显著性（p < 0.001）。
• 在去除几何一致性损失的消融版本（SbR-N）中，由于合成伪影导致性能下降，证明了对比损失的必要性。
• 尽管训练过程中未使用分割标签，SbR在组织类别的Dice分数与NMIw相当，表明其具有稳健的结构对齐能力。
• 引入额外损失（SbR-G与SbR-R）未带来统计显著的性能提升，表明核心SbR损失已达到最优。
• 定性结果表明，即使存在染色伪影和强度不均匀性，SbR仍能稳健地配准复杂结构（如皮层）。