[论文解读] Neural ODEs for Image Segmentation with Level Sets

Rafael Valle, Fitsum A. Reda+4 more|arXiv (Cornell University)|Dec 25, 2019

Medical Image Segmentation Techniques参考文献 43被引用 4

一句话总结

本文提出了一种新颖的图像分割方法，将神经ODE（NODEs）与水平集方法结合，将初始轮廓或图像嵌入演化为精确的语义分割结果。通过端到端学习forcing函数，该方法在参数更少的情况下提升了分割精度，在肾脏和显著物体分割基准上达到了SOTA的$F_\beta$得分。

ABSTRACT

We propose a novel approach for image segmentation that combines Neural Ordinary Differential Equations (NODEs) and the Level Set method. Our approach parametrizes the evolution of an initial contour with a NODE that implicitly learns from data a speed function describing the evolution. In addition, for cases where an initial contour is not available and to alleviate the need for careful choice or design of contour embedding functions, we propose a NODE-based method that evolves an image embedding into a dense per-pixel semantic label space. We evaluate our methods on kidney segmentation (KiTS19) and on salient object detection (PASCAL-S, ECSSD and HKU-IS). In addition to improving initial contours provided by deep learning models while using a fraction of their number of parameters, our approach achieves F scores that are higher than several state-of-the-art deep learning algorithms.

研究动机与目标

• 解决在模糊物体边界附近实现精确像素级分割的挑战，尤其是在医学影像和显著物体成像中。
• 克服传统水平集方法依赖手工设计速度函数且缺乏数据驱动自适应能力的局限性。
• 通过学习神经ODE的演化动力学，减少对精心设计的初始轮廓或嵌入函数的依赖。
• 探索利用NODEs直接将图像嵌入演化为密集的逐像素语义标签，避免显式轮廓表示。
• 证明基于NODE的演化方法在显著更少参数下，性能优于或匹配当前SOTA深度学习模型。

提出的方法

• 使用神经ODE对轮廓的水平集演化进行参数化，其中水平集函数$\phi$的导数由可学习的神经网络$f_\theta$控制。
• 使用符号距离函数作为初始嵌入$\phi^0$，通过$\frac{d\phi}{dt} = |\nabla\phi| F$进行演化，其中$F$由NODE隐式学习。
• 端到端训练NODE以最小化分割损失，使模型能够从数据中学习最优轮廓演化动力学。
• 提出第二种方法：通过NODE演化图像嵌入，直接生成密集的像素级语义标签图，从而消除对初始轮廓设计的依赖。
• 在训练过程中引入正则化项，如曲率控制和基于外观的约束，以引导演化过程并提升泛化能力。
• 采用NodeUNet（用于轮廓演化）和NodeStack（用于图像嵌入演化）等架构，高效学习forcing函数，显著降低参数数量。

实验结果

研究问题

• RQ1 神经ODE能否有效学习水平集演化中的forcing函数，从而替代手工设计的速度函数？
• RQ2 通过NODE端到端学习forcing函数，是否相比标准深度学习模型能提升分割精度？
• RQ3 能否利用NODE直接将图像嵌入演化为密集的语义标签图，从而消除对显式初始轮廓设计的需求？
• RQ4 所提出的基于NODE的方法在$F_\beta$得分和参数效率方面，与SOTA模型相比表现如何？
• RQ5 在基于NODE的演化过程中，外部约束（如曲率正则化、外观特征）的集成程度如何？

主要发现

• NodeUNet模型（500万参数）在PASCAL-S上的$\omega$-$F_\beta$得分相比1500万参数的UNet基线模型提升了5%，展现出卓越的参数效率。
• 在ECSSD数据集上，NodeStack模型（4100万参数）取得了0.768的$\omega$-$F_\beta$得分，优于多个SOTA模型，包括DLS（0.766）和ELD（0.756）。
• 在ECSSD上，NodeStack模型取得了0.848的$\alpha$-$F_\beta$得分，超越所有对比方法，包括MTDS、MDF和LEGS。
• 在HKU-IS数据集上，NodeStack模型取得了0.734的$\omega$-$F_\beta$得分，超过DLS（0.748）和ELD（0.718），在具有挑战性的显著物体数据集上表现出强大的泛化能力。
• 在PASCAL-S上，该方法取得了0.668的$\omega$-$F_\beta$得分，达到SOTA性能，优于DRFI、MCDL、LEGS、MTDS、MDF和ELD。
• 该方法支持在ODE求解过程中进行干预，为未来集成形状先验或曲率正则化提供了可能。