[论文解读] MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo

Tianqi Liu, Guangcong Wang+7 more|arXiv (Cornell University)|May 20, 2024

Advanced Vision and Imaging被引用 4

一句话总结

MVSGaussian 提出了一种基于多视角立体视觉（MVS）编码几何感知特征并解码为高斯参数的快速、可泛化的 3D 高斯点绘框架，用于新视角合成。该方法在 DTU、LLFF、NeRF Synthetic 和 Tanks and Temples 数据集上实现了最先进的视角合成质量，支持实时渲染，并实现每场景优化时间低于 60 秒。

ABSTRACT

We present MVSGaussian, a new generalizable 3D Gaussian representation approach derived from Multi-View Stereo (MVS) that can efficiently reconstruct unseen scenes. Specifically, 1) we leverage MVS to encode geometry-aware Gaussian representations and decode them into Gaussian parameters. 2) To further enhance performance, we propose a hybrid Gaussian rendering that integrates an efficient volume rendering design for novel view synthesis. 3) To support fast fine-tuning for specific scenes, we introduce a multi-view geometric consistent aggregation strategy to effectively aggregate the point clouds generated by the generalizable model, serving as the initialization for per-scene optimization. Compared with previous generalizable NeRF-based methods, which typically require minutes of fine-tuning and seconds of rendering per image, MVSGaussian achieves real-time rendering with better synthesis quality for each scene. Compared with the vanilla 3D-GS, MVSGaussian achieves better view synthesis with less training computational cost. Extensive experiments on DTU, Real Forward-facing, NeRF Synthetic, and Tanks and Temples datasets validate that MVSGaussian attains state-of-the-art performance with convincing generalizability, real-time rendering speed, and fast per-scene optimization.

研究动机与目标

• 解决 3D 高斯点绘中每场景优化效率低下的问题，该问题通常需要数分钟处理每个场景。
• 克服显式 3D 高斯表示对未见场景泛化能力差的问题，因其对参数高度敏感。
• 通过结合点绘与体素渲染的混合渲染策略，提升泛化能力，超越基于隐式 NeRF 的方法。
• 通过引入多视角几何一致性聚合策略进行初始化，实现针对特定场景的快速、高质量微调。
• 相比现有的可泛化 NeRF 和原始 3D-GS 方法，实现更快的推理速度与优化速度。

提出的方法

• 利用多视角立体视觉（MVS）估计深度并为 3D 点编码几何感知特征，使用 2D U-Net 增强空间感知能力。
• 使用 MLP 以前馈方式将点特征解码为高斯参数（位置、尺度、旋转、颜色）。
• 提出一种混合高斯渲染策略，结合标准点绘与深度感知体素渲染，以提升泛化性能。
• 应用多视角几何一致性检查，聚合来自可泛化模型的点云，过滤噪声高斯点，同时保留有效点。
• 将聚合后的、一致的点云用作每场景优化的初始化，降低计算成本并加速收敛。
• 使用可微分的基于瓦片的光栅化器优化模型，实现在推理和微调过程中的实时渲染。

实验结果

研究问题

• RQ1 能否基于 MVS 的几何推理构建一个可泛化的 3D 高斯点绘框架，实现在未见场景上的快速推理？
• RQ2 将点绘与体素渲染相结合，相比单独使用任一方法，如何提升泛化性能？
• RQ3 基于几何一致性的聚合策略是否能显著提升每场景优化的初始化质量？
• RQ4 在使用可泛化模型与原始 3D-GS 模型时，推理速度、渲染质量与优化时间之间的权衡如何？
• RQ5 该方法在包括真实世界与合成基准在内的多样化场景类型中，泛化能力达到何种程度？

主要发现

• MVSGaussian 在 DTU、LLFF、NeRF Synthetic 和 Tanks and Temples 数据集上实现了最先进的视角合成性能，PSNR 分别为 28.21、24.07、26.46 和 23.28。
• 该方法支持 350 FPS 的实时渲染，显著优于基于 NeRF 的方法，并与原始 3D-GS 的速度相当。
• 在 Real Forward-facing 数据集上，每场景优化仅耗时 45 秒，而原始 3D-GS 需 10 分钟，NeRF 需 10 小时。
• 混合渲染策略（点绘 + 体素渲染）相比仅使用点绘或仅使用体素渲染的基线方法，PSNR 提升 0.73–1.00。
• 基于几何一致性的聚合策略在 Real Forward-facing 数据集上达到 26.98 的 PSNR，优于直接拼接（26.18）和体素下采样（26.72）。
• 直接解码 RGB 值而非球谐函数可提升泛化能力，尤其在 NeRF Synthetic 数据集上，SH 解码使 PSNR 下降 1.19 分。