[论文解读] NISF: Neural Implicit Segmentation Functions

Nil Stolt-Ansó, Julian McGinnis+3 more|arXiv (Cornell University)|Sep 15, 2023

Medical Imaging and AnalysisEngineering被引用 3

一句话总结

该论文提出神经隐式分割函数（NISF），一种新颖的深度学习框架，将解剖结构建模为坐标空间中的连续函数，从而实现从稀疏或部分医学影像中进行高分辨率、插值感知的分割。该方法在3D+t心脏短轴MRI数据上实现了0.87±0.045的平均Dice分数，并且无需后处理即可在未见过的影像平面和分辨率下实现强泛化能力。

ABSTRACT

Segmentation of anatomical shapes from medical images has taken an important role in the automation of clinical measurements. While typical deep-learning segmentation approaches are performed on discrete voxels, the underlying objects being analysed exist in a real-valued continuous space. Approaches that rely on convolutional neural networks (CNNs) are limited to grid-like inputs and not easily applicable to sparse or partial measurements. We propose a novel family of image segmentation models that tackle many of CNNs' shortcomings: Neural Implicit Segmentation Functions (NISF). Our framework takes inspiration from the field of neural implicit functions where a network learns a mapping from a real-valued coordinate-space to a shape representation. NISFs have the ability to segment anatomical shapes in high-dimensional continuous spaces. Training is not limited to voxelized grids, and covers applications with sparse and partial data. Interpolation between observations is learnt naturally in the training procedure and requires no post-processing. Furthermore, NISFs allow the leveraging of learnt shape priors to make predictions for regions outside of the original image plane. We go on to show the framework achieves dice scores of 0.87 $\pm$ 0.045 on a (3D+t) short-axis cardiac segmentation task using the UK Biobank dataset. We also provide a qualitative analysis on our frameworks ability to perform segmentation and image interpolation on unseen regions of an image volume at arbitrary resolutions.

研究动机与目标

• 解决卷积神经网络（CNN）在处理稀疏、非网格或可变分辨率医学影像数据时的局限性。
• 实现在无需后处理启发式方法情况下的平滑高分辨率分割。
• 学习一种个体特异的形状先验，使其能泛化到原始图像体积中未出现的区域。
• 支持从有限的2D/3D采集数据中进行插值和重建，以生成层外视图。

提出的方法

• NISF使用神经网络将坐标向量 $ c \in \mathbb{R}^N $ 和个体特异的潜在码 $ h \in \mathbb{R}^d $ 映射到图像强度和分割预测结果。
• 该模型采用自编码器架构进行训练，其中潜在码 $ h $ 在推理过程中被优化以重建观测到的影像数据。
• 在一组受试者群体上训练潜在码 $ h $ 的可学习先验，从而实现对未见受试者和区域的泛化。
• 通过在连续空间中的任意坐标点评估网络，该框架支持任意分辨率采样，避免了体素网格的限制。
• 推理过程通过图像重建损失优化潜在码 $ h $，并采用早停策略以防止过拟合。
• 该方法实现了对未观测影像平面（如从短轴MRI数据中预测长轴视图）的零样本分割预测。

实验结果

研究问题

• RQ1 神经隐式函数能否从稀疏或部分医学影像数据中学习实现高分辨率、连续的分割？
• RQ2 该模型在图像体积的层外或未观测区域的泛化能力如何？
• RQ3 所学习的个体特异潜在先验是否能在无真实标签的区域实现准确的分割和图像重建？
• RQ4 隐式表示是否能消除对后处理以获得平滑物体表面的需求？
• RQ5 该模型在低分辨率的挑战性解剖区域（如基底切片中的右心室）表现如何？

主要发现

• NISF框架在100名未见受试者的3D+t短轴心脏MRI分割任务测试集中实现了0.87±0.045的平均Dice分数。
• 潜在码推理时优化步数的最优值为672，该值在重建与分割性能之间达到平衡。
• 定性结果表明，该模型成功生成了合理且平滑的基底切片分割结果，包括原始数据中未出现的区域。
• 即使在训练和推理过程中均未使用真实长轴图像，该模型仍能准确重建并分割出从短轴MRI数据中推导的长轴视图。
• 推理过程中早停至关重要，因为分割性能在重建损失完全收敛前即达到峰值。
• 所学习的个体先验显著提升了推理时的分割与图像重建性能，证明了群体层面形状先验的价值。