[论文解读] Robust Gaussian Splatting

François Darmon, Lorenzo Porzi+2 more|arXiv (Cornell University)|Apr 5, 2024

Advanced Statistical Process MonitoringDecision Sciences被引用 3

一句话总结

本文提出了一种鲁棒的3D高斯溅射框架，通过在相机位姿上建模运动模糊的高斯分布，实现相机位姿与模糊校正的联合优化。此外，通过引入2D协方差偏移和逐图像色彩变换，实现了对失焦模糊的补偿，并有效处理光照与白平衡变化，显著提升了真实世界（ScanNet++）和合成数据集（Deblur-NeRF）上的性能，PSNR与SSIM指标均有显著提升。

ABSTRACT

In this paper, we address common error sources for 3D Gaussian Splatting (3DGS) including blur, imperfect camera poses, and color inconsistencies, with the goal of improving its robustness for practical applications like reconstructions from handheld phone captures. Our main contribution involves modeling motion blur as a Gaussian distribution over camera poses, allowing us to address both camera pose refinement and motion blur correction in a unified way. Additionally, we propose mechanisms for defocus blur compensation and for addressing color in-consistencies caused by ambient light, shadows, or due to camera-related factors like varying white balancing settings. Our proposed solutions integrate in a seamless way with the 3DGS formulation while maintaining its benefits in terms of training efficiency and rendering speed. We experimentally validate our contributions on relevant benchmark datasets including Scannet++ and Deblur-NeRF, obtaining state-of-the-art results and thus consistent improvements over relevant baselines.

研究动机与目标

• 提升3D高斯溅射（3DGS）在低质量、手持拍摄的真实世界应用中的鲁棒性。
• 解决常见误差源，如运动模糊、失焦模糊、相机位姿不准确，以及由光照或相机设置引起的色彩不一致。
• 在保持3DGS训练效率与渲染速度的同时，提升在噪声大、失真严重的输入数据下的重建保真度。
• 在真实世界数据集（如ScanNet++）和合成基准（如Deblur-NeRF）上，基于真实评估协议验证所提方法的有效性。

提出的方法

• 将运动模糊建模为相机位姿上的高斯分布，使训练过程中可联合优化位姿与模糊校正。
• 在投影过程中向高斯分布引入2D协方差偏移机制，以补偿图像平面上的失焦模糊。
• 引入可学习的逐图像仿射色彩变换，以校正环境光、阴影及白平衡差异。
• 在推理阶段将色彩变换融入球谐函数，实现与标准3DGS渲染器的兼容。
• 采用测试时自适应策略，将预测位姿与色彩与真实值对齐以进行评估，避免过拟合。
• 使用模糊度度量（最大梯度幅值下降）筛选高质量测试图像用于ScanNet++的评估。

Figure 1 : Hand-held phone captures (top left, from ScanNet++) can be challenging to reconstruct with 3D Gaussian Splatting (top center), due to inter-frame color inconsistencies (bottom left), motion blur and defocus blur (bottom right). We show how these factors can explicitly and easily be modele

实验结果

研究问题

• RQ1 能否通过概率建模，在3DGS框架内联合校正运动模糊与相机位姿误差？
• RQ2 通过2D协方差偏移建模失焦模糊，在提升重建质量方面效果如何？
• RQ3 逐图像色彩变换在缓解环境光与相机设置引起的色彩不一致方面，能有多大改善？
• RQ4 所提方法在真实世界与合成基准上，在真实评估条件下是否达到最先进性能？

主要发现

• 完整方法在ScanNet++基准上达到24.08的PSNR与0.850的SSIM，相比基线3DGS提升超过2.35 PSNR点。
• 色彩变换与位姿优化联合使用相比基线可提升2.37 PSNR，若省略色彩校正则导致1.37 PSNR下降。
• 仅使用运动模糊建模即可达到24.08 PSNR，加入失焦模糊建模后无进一步增益，可能因ScanNet++中失焦模糊出现频率较低。
• 在Deblur-NeRF合成数据集上，方法在失焦模糊场景下达到29.24 PSNR与0.9168 SSIM，优于标准3DGS（24.46 PSNR）与Deblur-GS（29.43 PSNR）。
• 在真实世界数据上性能显著提升，各类消融实验中PSNR相比基线3DGS提升2.12–2.37点。
• 失焦模糊建模在Deblur-NeRF上有效，但在ScanNet++中效果较弱，因运动模糊占主导且失焦模糊罕见。

Figure 2 : In 3DGS, defocus blur (left), color inconsistencies (center) and motion blur (right) can be modeled as simple transformations applied to the 3D Gaussian primitives (Sec. 4 ). This allows us to estimate per-camera motion, appearance and focus parameters, which can be factored out to recove