[论文解读] Neural Radiance Fields in Medical Imaging: A Survey

Xin Wang, Chen, Yineng+4 more|arXiv (Cornell University)|Feb 26, 2024

Medical Imaging Techniques and Applications被引用 8

一句话总结

本综述分析将神经辐射场（NeRF）应用于医学影像，概述四大核心挑战，评述器官特定的方法、数据集和评估指标，并提出未来的研究方向。

ABSTRACT

Neural Radiance Fields (NeRF), as a pioneering technique in computer vision, offer great potential to revolutionize medical imaging by synthesizing three-dimensional representations from the projected two-dimensional image data. However, they face unique challenges when applied to medical applications. This paper presents a comprehensive examination of applications of NeRFs in medical imaging, highlighting four imminent challenges, including fundamental imaging principles, inner structure requirement, object boundary definition, and color density significance. We discuss current methods on different organs and discuss related limitations. We also review several datasets and evaluation metrics and propose several promising directions for future research.

研究动机与目标

• 确定在医学影像中使用NeRF的动机及相关挑战。
• 按器官类型对NeRF方法进行分类，并讨论它们的局限性和数据需求。
• 评审用于医学NeRF研究的公开数据集和评估指标。
• 概述未来方向，以提高细节、边界、色彩-密度解释及临床整合。

提出的方法

• 按器官（膝关节、大脑、心血管、颅骨、牙齿、腹部、胸部）对NeRF应用进行分类，以突出结构挑战。
• 讨论具体的医学NeRF方法（如MedNeRF、UMedNeRF、ACNeRF、mNeRF、SNAF、NAF）及其训练/优化策略。
• 考察使用数字再构影像（DRR）进行数据生成，以及DRR在模拟成对数据中的作用。
• 评审用于医学NeRF的公开数据集（MedNeRF、NAF、PerX2CT、DIF-Net）及评估指标（PSNR、SSIM、FID、KID）。
• 突出数据质量、分辨率、边界模糊、模态泛化和可解释性等局限性。
• 提出未来方向，包括细节分辨率、边界界定、计算效率、个性化，以及与先进技术的整合。

实验结果

研究问题

• RQ1 在将NeRF应用于医疗数据时，主要的成像原理和边界定义挑战是什么？
• RQ2 基于NeRF的方法在不同解剖器官和成像模态下的表现如何？
• RQ3 用于评估医学NeRF的数据集和评估指标有哪些，它们揭示了哪些局限？
• RQ4 哪些未来方向和整合（例如与DRR、RL、基础模型等）可以推动NeRF在临床环境中的应用？

主要发现

• NeRF能够从二维医学图像提供详细的三维表示，且可降低辐射暴露和成像时间。
• 器官特异性的NeRF方法面临独特挑战，如稀疏性、重叠以及血管、骨骼和软组织的可见性。
• 多种专用模型（MedNeRF、UMedNeRF、ACNeRF、mNeRF、SNAF、NAF）解决了对齐、不确定性和稀疏视图重建，但超参数平衡仍然是一个问题。
• 基于DRR的合成X光图使成对数据训练成为可能，而无需额外的患者暴露，支持NeRF的发展。
• 用于医学NeRF的公开数据集正在增长（如MedNeRF、NAF、PerX2CT、DIF-Net），评估指标包括PSNR、SSIM、FID和KID。
• 该综述概述了未来方向，包括更好的细节、边界界定、颜色-密度解释和计算效率，以及与3D高斯点涂布、强化学习和基础模型等的潜在整合。