[论文解读] PAC-NeRF: Physics Augmented Continuum Neural Radiance Fields for Geometry-Agnostic System Identification

Xuan Li, Yi-Ling Qiao+5 more|arXiv (Cornell University)|Mar 9, 2023

Human Pose and Action Recognition被引用 7

一句话总结

PAC-NeRF 提出了一种物理增强的神经辐射场，能够从多视角视频中联合估计动态材料（如弹性体、橡皮泥、沙子和流体）的未知几何形状与物理参数，且无需事先假设几何或拓扑结构。通过采用混合欧拉-拉格朗日表示法，强制执行连续介质力学的守恒定律，实现可微分物理模拟与端到端优化，实现了最先进水平的系统识别性能，相比基线方法提升高达两个数量级。

ABSTRACT

Existing approaches to system identification (estimating the physical parameters of an object) from videos assume known object geometries. This precludes their applicability in a vast majority of scenes where object geometries are complex or unknown. In this work, we aim to identify parameters characterizing a physical system from a set of multi-view videos without any assumption on object geometry or topology. To this end, we propose "Physics Augmented Continuum Neural Radiance Fields" (PAC-NeRF), to estimate both the unknown geometry and physical parameters of highly dynamic objects from multi-view videos. We design PAC-NeRF to only ever produce physically plausible states by enforcing the neural radiance field to follow the conservation laws of continuum mechanics. For this, we design a hybrid Eulerian-Lagrangian representation of the neural radiance field, i.e., we use the Eulerian grid representation for NeRF density and color fields, while advecting the neural radiance fields via Lagrangian particles. This hybrid Eulerian-Lagrangian representation seamlessly blends efficient neural rendering with the material point method (MPM) for robust differentiable physics simulation. We validate the effectiveness of our proposed framework on geometry and physical parameter estimation over a vast range of materials, including elastic bodies, plasticine, sand, Newtonian and non-Newtonian fluids, and demonstrate significant performance gain on most tasks.

研究动机与目标

• 在不预先知晓物体几何形状或拓扑结构的前提下，实现对动态场景中物理参数的系统识别。
• 解决现有基于视频的系统识别方法依赖已知几何形状或渲染配置的局限性。
• 将可微分物理模拟与神经辐射场统一，实现对几何形状与物理特性的联合估计。
• 开发一种鲁棒且数据高效的框架，能够处理包括流体、颗粒介质和橡皮泥在内的复杂材料。
• 仅使用多视角视频的2D图像空间监督，实现高保真重建与精确的物理参数估计。

提出的方法

• PAC-NeRF 引入了混合欧拉-拉格朗日表示法：使用欧拉网格表示神经辐射场的密度与颜色场，同时通过拉格朗日粒子对这些场进行动态演化。
• 通过强制神经辐射场场的物质导数为零，确保其满足连续介质守恒定律 ∂F/∂t + v·∇F = 0。
• 将物质点法（MPM）集成到神经辐射场框架中，实现对大变形与碰撞的鲁棒、可微分模拟。
• 整个流程完全可微，支持基于像素级2D重建损失的梯度优化，同时学习几何形状与物理参数。
• 采用体素化、GPU优化的实现方式，加速推理并支持在复杂动态场景中实现高性能模拟。
• 通过在MPM框架中建模材料的本构行为，该方法可支持广泛的材料类型，包括弹性固体、橡皮泥、沙子以及牛顿流体与非牛顿流体。

Figure 1: PAC-NeRF uses both Lagrangian (particle; material-space) and Eulerian (grid; world-space) representations for an accurate yet tractable computational model of continuum materials. P2G and G2P denote particle-to-grid and grid-to-particle transforms, respectively. Renderable quantities (volu

实验结果

研究问题

• RQ1 我们能否在不假设已知物体几何形状或拓扑结构的前提下，仅从多视角视频中估计动态材料的几何形状与物理参数？
• RQ2 在端到端优化过程中，如何在神经辐射场中强制实现物理合理性？
• RQ3 与纯视觉学习方法相比，可微分物理模拟是否能提升基于视频的系统识别中的数据效率与泛化能力？
• RQ4 混合欧拉-拉格朗日形式是否在模拟复杂材料行为方面优于纯欧拉或纯拉格朗日表示法？
• RQ5 通过可微分渲染实现的2D图像空间监督，是否在物理参数估计中优于3D几何监督（如Chamfer距离）？

主要发现

• PAC-NeRF 在17项物理属性估计任务中的14项中表现最佳，显著优于所有基线方法。
• 与最先进方法相比，该方法在物理参数估计中的平均绝对误差降低了两个数量级。
• 在流体与颗粒材料模拟中，PAC-NeRF 即使在大变形条件下仍保持稳定与高精度，而基于FEM的基线方法因数值不稳定性而失效。
• 2D像素级重建损失优于来自真实点云的3D Chamfer距离监督，表明图像空间信号在优化效率方面更具优势。
• 该框架对未知几何形状与渲染配置具有鲁棒性，可在无需特权几何或标定信息的条件下实现系统识别。
• 混合欧拉-拉格朗日设计在推理速度与碰撞处理、大变形模拟方面优于纯MLP-based NeRF或FEM-based模拟器。

Figure 2: Our surface regularizer improves reconstruction quality, by producing a tight-fit shape to the segmentation mask.