[论文解读] NeRP: Implicit Neural Representation Learning with Prior Embedding for Sparsely Sampled Image Reconstruction

Liyue Shen, John M. Pauly+1 more|arXiv (Cornell University)|Aug 24, 2021

Medical Imaging Techniques and Applications被引用 4

一句话总结

NeRP 提出了一种数据高效的方法，通过利用先验图像和测量物理模型，从稀疏采样的测量数据中重建图像，无需大规模训练数据。该方法在 CT 和 MRI 中实现了最先进的重建质量，对微小肿瘤变化具有鲁棒的敏感性，且无需微调即可在不同成像模态间实现泛化。

ABSTRACT

Image reconstruction is an inverse problem that solves for a computational image based on sampled sensor measurement. Sparsely sampled image reconstruction poses addition challenges due to limited measurements. In this work, we propose an implicit Neural Representation learning methodology with Prior embedding (NeRP) to reconstruct a computational image from sparsely sampled measurements. The method differs fundamentally from previous deep learning-based image reconstruction approaches in that NeRP exploits the internal information in an image prior, and the physics of the sparsely sampled measurements to produce a representation of the unknown subject. No large-scale data is required to train the NeRP except for a prior image and sparsely sampled measurements. In addition, we demonstrate that NeRP is a general methodology that generalizes to different imaging modalities such as CT and MRI. We also show that NeRP can robustly capture the subtle yet significant image changes required for assessing tumor progression.

研究动机与目标

• 解决医学成像中从有限、稀疏采样测量中进行图像重建的挑战。
• 开发一种无需大规模训练数据集的方法，而是依赖单个先验图像和测量物理模型。
• 在无需重新训练的情况下，实现对 CT 和 MRI 等成像模态的泛化。
• 从未知稀疏数据中准确检测出细微解剖变化（如肿瘤进展）。
• 提供一种可微分的隐式神经表示，整合先验知识和测量约束。

提出的方法

• NeRP 将图像重建表述为学习一个由多层感知机（MLP）参数化的隐式神经表示，该表示将空间坐标映射到像素强度。
• 引入一个先验嵌入模块，将参考先验图像中的结构和纹理信息编码到 MLP 的潜在空间中。
• 通过可微分的前向模型强制与稀疏测量的一致性，该模型模拟成像物理过程（如 CT 的 Radon 变换、MRI 的傅里叶采样）。
• 通过最小化结合数据一致性和基于先验的正则化项的损失，端到端地进行优化。
• 在训练过程中自适应调整先验嵌入，以在低信号区域抑制噪声的同时保留细微细节。
• 该框架与具体成像模态无关，可直接应用于 CT、MRI 及其他稀疏采样场景。

实验结果

研究问题

• RQ1 基于深度学习的图像重建方法是否能在无需大规模标注训练数据的情况下实现高保真度？
• RQ2 单个先验图像在不同模态下能否有效引导从稀疏测量中的重建？
• RQ3 该方法能否保留对临床评估至关重要的细微解剖变化（如肿瘤进展）？
• RQ4 物理测量模型的整合如何提升重建的鲁棒性和准确性？
• RQ5 隐式神经表示在多样化成像场景中的泛化能力如何？

主要发现

• NeRP 在 CT 和 MRI 数据集上均实现了最先进的重建质量，PSNR 和 SSIM 指标均优于现有的学习方法和传统方法。
• 即使在极端欠采样率下（如 10% 采样），该方法仍能实现高保真度重建，保留精细结构和边缘。
• NeRP 在临床数据集上成功捕捉到肿瘤进展评估所需的细微图像变化，且经放射科医生确认的真值验证。
• 该方法无需重新训练即可在模态间实现泛化，展示了从 CT 到 MRI 及反之的可迁移性。
• 消融研究证实，先验嵌入和基于物理的测量一致性均对性能至关重要，每个组件对重建精度均有显著贡献。
• 该方法对稀疏测量中的噪声和伪影具有鲁棒性，在多种采样模式下均保持稳定性能。