[论文解读] NODEO: A Neural Ordinary Differential Equation Based Optimization Framework for Deformable Image Registration

Yifan Wu, Tom Z. Jiahao+4 more|arXiv (Cornell University)|Aug 7, 2021

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出NODEO，一种基于神经常微分方程的新型可变形图像配准框架，通过深度神经网络将体素轨迹建模为连续动力系统。通过优化可学习的速度场，该方法实现了最先进的精度和微分同胚正则化，在OASIS和CANDI数据集上的实验中，Dice分数更高，且负雅可比行列式接近零。

ABSTRACT

Deformable image registration (DIR), aiming to find spatial correspondence between images, is one of the most critical problems in the domain of medical image analysis. In this paper, we present a novel, generic, and accurate diffeomorphic image registration framework that utilizes neural ordinary differential equations (NODEs). We model each voxel as a moving particle and consider the set of all voxels in a 3D image as a high-dimensional dynamical system whose trajectory determines the targeted deformation field. Our method leverages deep neural networks for their expressive power in modeling dynamical systems, and simultaneously optimizes for a dynamical system between the image pairs and the corresponding transformation. Our formulation allows various constraints to be imposed along the transformation to maintain desired regularities. Our experiment results show that our method outperforms the benchmarks under various metrics. Additionally, we demonstrate the feasibility to expand our framework to register multiple image sets using a unified form of transformation,which could possibly serve a wider range of applications.

研究动机与目标

• 开发一种灵活、通用且高精度的微分同胚图像配准框架，以克服传统基于模型和基于深度学习方法的局限性。
• 通过神经常微分方程（NODEs）将深度神经网络的表达能力与基于流的配准的几何一致性相结合。
• 在优化过程中轻松集成物理和拓扑约束（例如平滑性、边界条件）。
• 在保持微分同胚变换的同时实现高配准精度，且负雅可比行列式极小。
• 通过统一的变换公式将框架扩展至多图像配准。

提出的方法

• 该方法将每个体素建模为高维动力系统中的粒子，变形场由由深度神经网络参数化的学习型ODE的解导出。
• 通过可微分ODE求解器端到端优化速度场，支持时间反向传播，并联合优化图像相似性和正则化项。
• 通过在雅可比行列式和中间状态上施加惩罚项来实现正则化，确保拓扑保持性和平滑变换。
• 边界约束被直接整合到ODE公式中，从而在配准过程中实现固定区域的约束。
• 通过将变换扩展为多幅图像间的统一流，该框架支持多图像配准。
• 采用下采样策略以降低计算成本，同时不损失性能，从而实现高效的推理。

实验结果

研究问题

• RQ1 与传统方法和基于深度学习的方法相比，基于神经ODE的框架是否能提升可变形图像配准的精度和规则性？
• RQ2 NODEs在保持微分同胚性质的前提下，能否有效建模复杂且非线性的形变？
• RQ3 该框架是否能灵活地集成多种约束（如边界条件、平滑性），同时不牺牲优化效率？
• RQ4 该方法在不同形变复杂度的数据集（如OASIS，存在大形变；CANDI，存在小结构）上具有多大程度的泛化能力？
• RQ5 该框架能否通过统一的变换模型扩展至多图像配准？

主要发现

• 在OASIS数据集中，NODEO在28个脑结构上的平均Dice分数达到0.802 ± 0.011，显著优于SYMNet（0.778 ± 0.091）和SyN（0.739 ± 0.102）。
• 在CANDI数据集中，NODEO在32个结构上的平均Dice分数达到0.760 ± 0.011，优于SYMNet（0.736 ± 0.015）和SyN（0.713 ± 0.177）。
• NODEO实现了接近零的负雅可比行列式率，在OASIS和CANDI上均达到r^D ≤ 7.5×10⁻⁸%，证实了其强大的微分同胚特性。
• 该方法在2080Ti GPU上的运行时间约为每对图像80秒，显著快于NiftyReg（70秒）和Log-Demons（160秒），同时在精度上也更优。
• 该模型参数量仅为体素数量的3/4，表明其在不损失性能的前提下具有极高的参数效率。
• 定性结果表明，与SYMNet相比，其配准图像更清晰，无伪影，尤其在脑室区域表现更优。