[论文解读] SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes

Yihua Huang, Yang-Tian Sun+4 more|arXiv (Cornell University)|Dec 4, 2023

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出SC-GS，一种利用稀疏控制点和形变MLP对3D高斯分布建模6自由度运动场的新方法，实现可编辑的动态场景重建。通过将运动与外观解耦，并利用ARAP损失强制实现局部刚性，该方法在实时速度下实现了高保真度的新视角合成，同时支持直观的用户控制运动编辑，在质量和效率上均优于先前方法。

ABSTRACT

Novel view synthesis for dynamic scenes is still a challenging problem in computer vision and graphics. Recently, Gaussian splatting has emerged as a robust technique to represent static scenes and enable high-quality and real-time novel view synthesis. Building upon this technique, we propose a new representation that explicitly decomposes the motion and appearance of dynamic scenes into sparse control points and dense Gaussians, respectively. Our key idea is to use sparse control points, significantly fewer in number than the Gaussians, to learn compact 6 DoF transformation bases, which can be locally interpolated through learned interpolation weights to yield the motion field of 3D Gaussians. We employ a deformation MLP to predict time-varying 6 DoF transformations for each control point, which reduces learning complexities, enhances learning abilities, and facilitates obtaining temporal and spatial coherent motion patterns. Then, we jointly learn the 3D Gaussians, the canonical space locations of control points, and the deformation MLP to reconstruct the appearance, geometry, and dynamics of 3D scenes. During learning, the location and number of control points are adaptively adjusted to accommodate varying motion complexities in different regions, and an ARAP loss following the principle of as rigid as possible is developed to enforce spatial continuity and local rigidity of learned motions. Finally, thanks to the explicit sparse motion representation and its decomposition from appearance, our method can enable user-controlled motion editing while retaining high-fidelity appearances. Extensive experiments demonstrate that our approach outperforms existing approaches on novel view synthesis with a high rendering speed and enables novel appearance-preserved motion editing applications. Project page: https://yihua7.github.io/SC-GS-web/

研究动机与目标

• 为解决从单目视频中实现高质量、实时的新视角合成动态场景的挑战。
• 在保持高保真外观的同时，实现在3D场景中的用户控制运动编辑。
• 通过引入稀疏可学习运动表示，降低高斯点阵中运动建模的复杂度和噪声。
• 通过局部刚性约束提升动态场景中运动的空间与时间一致性。
• 联合优化3D高斯分布、控制点位置和形变网络，实现端到端的动态场景重建。

提出的方法

• 引入约512个稀疏控制点作为6自由度运动场的紧凑基底，远少于100K个高斯分布。
• 使用时间与位置条件化的MLP，为每个控制点预测随时间变化的6自由度变换（四元数旋转 + 平移）。
• 通过控制点变换的局部插值驱动密集高斯分布，实现平滑且一致的运动场。
• 采用自适应策略，根据局部运动复杂度动态调整控制点的数量和位置。
• 引入ARAP（尽可能刚性）损失，以强制控制点运动的局部刚性和空间连续性。
• 联合优化3D高斯分布参数、原始控制点位置和形变MLP，输入为单目视频。

实验结果

研究问题

• RQ1 稀疏控制点表示能否在保持高渲染质量的同时有效建模复杂动态场景运动？
• RQ2 与直接预测高斯运动相比，基于时间与位置条件化的形变MLP在运动泛化性和一致性方面有何提升？
• RQ3 通过ARAP损失强制实现局部刚性在多大程度上减少了运动伪影并提升了时间一致性？
• RQ4 通过控制点显式表示运动，能否实现超越训练序列的直观、用户引导的运动编辑？
• RQ5 在新视角合成与运动编辑方面，该方法与SOTA方法在定性和定量上的对比表现如何？

主要发现

• 在D-NeRF数据集上，SC-GS实现PSNR为43.307，SSIM为0.9976，LPIPS为0.0063，优于所有基线方法（无论是否使用控制点）。
• 消融实验表明，移除控制点会使PSNR降低4.795分，证明其在泛化与降噪中的关键作用。
• 移除ARAP损失后，LPIPS从0.0063升至0.0067，并引入运动伪影，证实其在强制刚性方面的有效性。
• 该方法对未见运动模式泛化良好，运动编辑结果表明编辑后的轨迹保持平滑且合理。
• SC-GS在保持高速渲染的同时实现了SOTA级别的视觉质量，即使在具有镜面反射的挑战性场景中亦表现优异。
• 该方法通过操控控制点实现用户可编辑的运动编辑，这是先前基于NeRF和高斯的方法所不具备的能力。