[论文解读] NeurReg: Neural Registration and Its Application to Image Segmentation

Wentao Zhu, Andriy Myronenko+6 more|arXiv (Cornell University)|Oct 4, 2019

Medical Image Segmentation Techniques参考文献 46被引用 4

一句话总结

NeurReg 提出了一种基于深度学习的图像配准框架，结合配准模拟器与位移场监督和数据相似性相结合的混合损失，实现了最先进的配准精度和快速推理。该方法进一步扩展至多任务学习以实现分割，通过双配准机制和残差分割模块，提升了在 Hippocampus 和 Prostate 等公开数据集上的性能、不确定性估计与可解释性。

ABSTRACT

Registration is a fundamental task in medical image analysis which can be applied to several tasks including image segmentation, intra-operative tracking, multi-modal image alignment, and motion analysis. Popular registration tools such as ANTs and NiftyReg optimize an objective function for each pair of images from scratch which is time-consuming for large images with complicated deformation. Facilitated by the rapid progress of deep learning, learning-based approaches such as VoxelMorph have been emerging for image registration. These approaches can achieve competitive performance in a fraction of a second on advanced GPUs. In this work, we construct a neural registration framework, called NeurReg, with a hybrid loss of displacement fields and data similarity, which substantially improves the current state-of-the-art of registrations. Within the framework, we simulate various transformations by a registration simulator which generates fixed image and displacement field ground truth for training. Furthermore, we design three segmentation frameworks based on the proposed registration framework: 1) atlas-based segmentation, 2) joint learning of both segmentation and registration tasks, and 3) multi-task learning with atlas-based segmentation as an intermediate feature. Extensive experimental results validate the effectiveness of the proposed NeurReg framework based on various metrics: the endpoint error (EPE) of the predicted displacement field, mean square error (MSE), normalized local cross-correlation (NLCC), mutual information (MI), Dice coefficient, uncertainty estimation, and the interpretability of the segmentation. The proposed NeurReg improves registration accuracy with fast inference speed, which can greatly accelerate related medical image analysis tasks.

研究动机与目标

• 开发一种快速且准确的基于深度学习的图像配准方法，以克服传统迭代优化方法的计算成本。
• 通过结合有监督的位移场损失与无监督的数据相似性损失，提升泛化能力与配准精度。
• 将配准框架扩展至多任务学习，用于医学图像分割，利用配准与分割之间的共享表征。
• 通过学习到的配准场与反向传播的特征图，提升分割结果的可解释性与不确定性估计能力。
• 在公开数据集上通过包括 Dice、EPE、MSE 与 NLCC 在内的综合指标验证该框架。

提出的方法

• 一个配准模拟器在移动图像上生成合成变换——平移、旋转、缩放与弹性形变——以生成固定图像与真实位移场。
• U-Net 架构参数化位移场，空间变换网络则将移动图像向模拟的固定图像进行形变。
• 混合损失结合位移场监督（预测场与真实场之间的 L2 损失）与数据相似性（NLCC、MI、MSE），以平衡精度与泛化能力。
• 双配准机制强制使移动图像/图谱与真实训练图像及模拟固定图像均对齐，从而增强特征学习。
• 在多任务框架中集成残差分割模块，以提升分割性能。
• 通过多个图谱配准的集成预测生成不确定性图，并借助逆向配准场与反向传播的预测图增强可解释性。

实验结果

研究问题

• RQ1 结合位移场监督与数据相似性的混合损失是否能提升基于深度学习的图像配准中的配准精度与泛化能力？
• RQ2 配准模拟器是否能有效合成多样化且逼真的变换，以训练鲁棒的配准网络？
• RQ3 与独立方法相比，联合配准与分割的多任务学习是否能提升分割性能？
• RQ4 学习到的配准场是否能增强医学图像中分割结果的可解释性与不确定性估计？
• RQ5 所提出的框架是否能在公开医学图像数据集上实现最先进性能，并具备快速推理能力？

主要发现

• NeurReg 在多个指标上均达到最佳配准性能，例如在 Hippocampus 数据集上 Dice 分数达到 78.99 ± 6.24 / 78.72 ± 7.47，优于 VoxelMorph 及传统工具 ANTs 与 NiftyReg。
• 采用残差分割模块的多任务学习变体（Ours (Feat.)）在 Hippocampus 数据集上取得 89.18 ± 3.50 / 87.39 ± 3.42 的 Dice 分数，与参数更多、并经过预训练的更大 3D U-Net 性能相当。
• 在 Prostate 数据集上，表现最佳的变体（Ours (Feat.)）取得 44.30 ± 17.60 / 82.38 ± 3.46 的 Dice 分数，显著优于 VoxelMorph 及其他基线方法。
• 基于图谱的框架生成的不确定性图在分割边界区域突出显示高不确定性区域，与临床预期一致，表明这些区域为易错区域。
• 逆向配准场与反向传播的预测图建立了图像外观与分割决策之间的可解释关联，增强了模型透明度。
• 由于端到端深度学习设计，该框架展现出快速推理速度，可加速下游医学图像分析任务。