[论文解读] Self-Supervised Slice-to-Volume Reconstruction with Gaussian Representations for Fetal MRI

Yinsong Wang, Thomas Fletcher+4 more|arXiv (Cornell University)|Jan 30, 2026

Fetal and Pediatric Neurological Disorders被引用 0

一句话总结

GaussianSVR 使用 3D 高斯基元来建模胎儿大脑体积，并通过一个自监督的、多分辨率训练结合一个模拟切片获取模型，联合估计高斯参数和切片变换以实现 SVR。

ABSTRACT

Reconstructing 3D fetal MR volumes from motion-corrupted stacks of 2D slices is a crucial and challenging task. Conventional slice-to-volume reconstruction (SVR) methods are time-consuming and require multiple orthogonal stacks for reconstruction. While learning-based SVR approaches have significantly reduced the time required at the inference stage, they heavily rely on ground truth information for training, which is inaccessible in practice. To address these challenges, we propose GaussianSVR, a self-supervised framework for slice-to-volume reconstruction. GaussianSVR represents the target volume using 3D Gaussian representations to achieve high-fidelity reconstruction. It leverages a simulated forward slice acquisition model to enable self-supervised training, alleviating the need for ground-truth volumes. Furthermore, to enhance both accuracy and efficiency, we introduce a multi-resolution training strategy that jointly optimizes Gaussian parameters and spatial transformations across different resolution levels. Experiments show that GaussianSVR outperforms the baseline methods on fetal MR volumetric reconstruction. Code will be available upon acceptance.

研究动机与目标

• 在存在运动伪影和有限地面实测数据的情况下，推动 Robust 的三维胎儿 MRI 重建。
• 提出用于体积重建的 3D 高斯表示，以实现局部化、正则化建模。
• 开发基于自监督的训练框架，利用模拟的前向切片采集模型。
• 引入多分辨率优化策略，以跨尺度联合估计高斯参数和运动。

提出的方法

• 将目标体积表示为一组具有参数 (mu, Sigma, I) 的 3D 高斯基元集。
• 渲染一个前向切片采集模型，将 3D 高斯体积投影到 2D 切片以用于自监督。
• 在每个高斯周围的 3σ 范围内使用局部的基于 3D 高斯的强度累积来计算 V(x)。
• 通过最小化结合 L1 数据保真、D-SSIM 和 TV 正则化的损失，端到端优化高斯参数和切片变换。
• 应用两阶段的多分辨率训练：先进行低分辨率优化以增强鲁棒性，再进行高分辨率细化。
• 对每个切片采用基于 PSF 的 3D 高斯渲染和前向模型 y_i = D B T_i x。

实验结果

研究问题

• RQ1 3D 高斯表示能否从运动伪影切片中实现高保真胎儿大脑体积重建？
• RQ2 是否通过带有前向切片采集模型的自监督训练框架就能消除对地面实测体积的需求？
• RQ3 粗到细（多分辨率）优化是否比单一分辨率方法在收敛性和重建质量上更优？
• RQ4 高斯参数和切片变换如何相互作用以提升 SVR 性能，相较于 INR 基方法或传统方法？

主要发现

Methods	PSNR / dB ↑	SSIM ↑	NRMSE ↓
NiftyMIC	21.17*(1.95)	0.7653*(0.0559)	0.0989*(0.0234)
SVoRT	23.98*(2.65)	0.8209*(0.0618)	0.0905*(0.1227)
NeSVoR	25.58*(1.81)	0.8940*(0.0407)	0.0536(0.0105)
GaussianSVR (Ours)	28.19 (3.02)	0.9281 (0.0552)	0.0468 (0.0219)

• GaussianSVR 在 FeTA 数据集上的重建质量高于基线，PSNR 28.19 dB，SSIM 0.9281，NRMSE 0.0468。
• 在 PSNR 上比 NeSVoR 提高 2.9%，并且获得更好的 SSIM 和更低的 NRMSE。
• 消融实验显示去除多分辨率或联合变换优化会降低性能。
• 定性结果表明 GaussianSVR 能重建出比基线更细的解剖细节和更清晰的体积。