[论文解读] PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

Tianyi Xie, Zeshun Zong+5 more|arXiv (Cornell University)|Nov 20, 2023

Computer Graphics and Visualization Techniques被引用 4

一句话总结

PhysGaussian 提出了一种统一的仿真-渲染流程，通过自定义的物质点法（MPM）将牛顿力学整合到 3D 高斯核中，实现了高保真、物理基础的新型运动合成。通过在连续介质力学框架下演化运动学与力学属性（如速度、应变、应力和弹性能量），该方法在弹性固体、金属、非牛顿流体和颗粒介质等多种材料上实现了实时、无伪影的动力学模拟。

ABSTRACT

We introduce PhysGaussian, a new method that seamlessly integrates physically grounded Newtonian dynamics within 3D Gaussians to achieve high-quality novel motion synthesis. Employing a custom Material Point Method (MPM), our approach enriches 3D Gaussian kernels with physically meaningful kinematic deformation and mechanical stress attributes, all evolved in line with continuum mechanics principles. A defining characteristic of our method is the seamless integration between physical simulation and visual rendering: both components utilize the same 3D Gaussian kernels as their discrete representations. This negates the necessity for triangle/tetrahedron meshing, marching cubes, "cage meshes," or any other geometry embedding, highlighting the principle of "what you see is what you simulate (WS$^2$)." Our method demonstrates exceptional versatility across a wide variety of materials--including elastic entities, metals, non-Newtonian fluids, and granular materials--showcasing its strong capabilities in creating diverse visual content with novel viewpoints and movements. Our project page is at: https://xpandora.github.io/PhysGaussian/

研究动机与目标

• 通过统一材料在仿真与渲染中的表示方式，弥合物理仿真与视觉渲染之间的差距。
• 消除在基于物理的动画中对中间几何表示（如网格、四面体或笼网格）的依赖。
• 在基于 3D 高斯的框架中实现逼真的动态行为，包括惯性、体积守恒与塑性。
• 在保持高视觉保真度与物理准确性的同时，实现复杂材料动力学的实时性能。
• 通过内部填充与物理参数化，支持用户对材料属性（如杨氏模量与泊松比）的灵活控制。

提出的方法

• 该方法通过在连续介质力学基础上驱动的偏微分方程（PDE）位移场，为 3D 高斯扩展了包括速度、应变、应力、弹性能量与塑性在内的物理属性，实现其演化。
• 采用自定义的物质点法（MPM）模拟 3D 高斯的物理演化，确保仿真与渲染之间的一致性。
• 在仿真与渲染中均使用相同的 3D 高斯表示，贯彻“所见即所仿”（WS²）原则，消除分辨率不匹配问题。
• 通过损失函数（公式 12）引入各向异性正则化，抑制大变形下过细长的高斯椭球引起的视觉伪影。
• 通过从高斯不透明度重建的密度场实现内部填充，支持逼真的内部动力学与体积守恒。
• 在形变过程中动态旋转球谐函数方向，相比固定或刚性变换的球谐函数，显著提升了视觉一致性并减少了伪影。

实验结果

研究问题

• RQ1 3D 高斯能否通过扩展运动学与力学属性，实现在无需网格化情况下的逼真动态仿真？
• RQ2 如何使统一的 3D 高斯表示同时支持高保真渲染与物理准确的仿真？
• RQ3 在基于高斯的仿真框架中，体积守恒与材料特异性行为（如弹性、塑性）能在多大程度上得到保持？
• RQ4 球谐函数的动态旋转与各向异性正则化在大变形下对视觉保真度有何影响？
• RQ5 3D 高斯的内部填充能否提升空心、壳状表示中物理动力学的真实性？

主要发现

• PhysGaussian 在基准动态 NeRF 编辑任务中达到最先进性能，在 'Twist' 序列上取得 PSNR 26.96、SSIM 26.46 与 LPIPS 31.15 的指标。
• 消融实验表明，所有组件——运动学形变、旋转球谐函数与动态协方差——均不可或缺，任一组件的移除均会导致显著视觉伪影与性能下降。
• 内部填充使模型在重力作用下具备真实的坍塌抵抗能力，避免了空心高斯模型中常见的结构坍塌现象。
• 体积守恒被精确维持，优于基于几何的方法（如 NeRF-Editing [48]），后者在形变过程中无法保持体积。
• 各向异性正则化有效抑制了大变形下细长高斯中的毛刺状视觉伪影，提升了视觉保真度。
• 该方法在简单动态场景中实现了实时性能，结合高效的 MPM 仿真与实时 3D 高斯点绘图渲染。