[论文解读] Ultra-NeRF: Neural Radiance Fields for Ultrasound Imaging

Magdalena Wysocki, Mohammad Farid Azampour+4 more|arXiv (Cornell University)|Jan 25, 2023

Medical Image Segmentation Techniques被引用 16

一句话总结

Ultra-NeRF 引入一种物理信息驱动的隐式神经表示，用于建模超声组织属性，并通过基于射线追踪的渲染从多个二维扫查呈现视图相关的 B 模态图像。

ABSTRACT

We present a physics-enhanced implicit neural representation (INR) for ultrasound (US) imaging that learns tissue properties from overlapping US sweeps. Our proposed method leverages a ray-tracing-based neural rendering for novel view US synthesis. Recent publications demonstrated that INR models could encode a representation of a three-dimensional scene from a set of two-dimensional US frames. However, these models fail to consider the view-dependent changes in appearance and geometry intrinsic to US imaging. In our work, we discuss direction-dependent changes in the scene and show that a physics-inspired rendering improves the fidelity of US image synthesis. In particular, we demonstrate experimentally that our proposed method generates geometrically accurate B-mode images for regions with ambiguous representation owing to view-dependent differences of the US images. We conduct our experiments using simulated B-mode US sweeps of the liver and acquired US sweeps of a spine phantom tracked with a robotic arm. The experiments corroborate that our method generates US frames that enable consistent volume compounding from previously unseen views. To the best of our knowledge, the presented work is the first to address view-dependent US image synthesis using INR.

研究动机与目标

• 通过从多个二维超声扫查学习几何来驱动三维超声可视化。
• 通过将物理基础渲染整合到 INR，解决超声的视图相关外观和几何。
• 实现物理上合理的新视角 B 模态合成和体积叠加。

提出的方法

• 使用基于 MLP 的隐式表示将三维坐标映射到组织参数（衰减、反射、边界概率、散射密度、散射强度）。
• 结合基于射线追踪的超声渲染模型，强制执行超声传播和回波散射的物理规律。
• 用一个组合 SSIM 和 L2 的损失来强化结构保真度和体素级精确性。
• 采用位置编码以捕捉高频组织变化。
• 在合成数据和仿真数据上，将渲染启用的 INR 与非渲染 INR 及显式三维体积方法进行比较。

实验结果

研究问题

• RQ1 一个物理信息 INR 是否能在未见视角下准确建模视图相关的超声外观？
• RQ2 将超声物理引入 NeRF 风格渲染是否改善新视角的 B 模式合成和体积一致性？
• RQ3 渲染对与基准超声帧的定量相似度（SSIM）在不同数据集上的影响？
• RQ4 Ultra-NeRF 在跨组织的渲染参数（衰减、散射、边界）分解方面的表现如何？
• RQ5 合成数据集和仿真数据集是否适合评估具有隐式表示的视图相关超声合成？

主要发现

• 在仿真数据上，渲染可以提升或达到对仿真数据的 SSIM，在倾斜和垂直视图下的中位数 SSIM 为 0.54 和 0.58。
• 在合成数据上，基于渲染的 INR 对比于非渲染 INR，在倾斜和垂直视图下的 SSIM 相似或略低（中位数：0.47–0.49 有渲染 vs 0.50–0.54 无渲染）。
• Ultra-NeRF 实现了在未见视角上的体积叠加的一致性，强调了物理基渲染对视图相关伪影的重要性。
• 该方法在由于视图相关差异导致的表示模糊区域，展示了几何上准确的 B 模式合成。
• 它通过参数分解识别组织特征，例如在骨骼区域有更高的衰减和散射，从而实现真实的阴影效果。