[论文解读] SimulCap : Single-View Human Performance Capture with Cloth Simulation

Tao Yu, Zerong Zheng+5 more|arXiv (Cornell University)|Mar 15, 2019

3D Shape Modeling and Analysis参考文献 70被引用 9

一句话总结

SimulCap 提出了一种基于单视角 RGBD 的人体动作捕捉系统，该系统将身体与衣物分离为多层表面表示，并结合基于物理的布料模拟与迭代深度拟合，重建出逼真、动态的衣物形变，包括被遮挡区域的形变，从而实现高保真度、物理解释性强且可动画化的虚拟角色，适用于虚拟现实/增强现实及虚拟试穿应用。

ABSTRACT

This paper proposes a new method for live free-viewpoint human performance capture with dynamic details (e.g., cloth wrinkles) using a single RGBD camera. Our main contributions are: (i) a multi-layer representation of garments and body, and (ii) a physics-based performance capture procedure. We first digitize the performer using multi-layer surface representation, which includes the undressed body surface and separate clothing meshes. For performance capture, we perform skeleton tracking, cloth simulation, and iterative depth fitting sequentially for the incoming frame. By incorporating cloth simulation into the performance capture pipeline, we can simulate plausible cloth dynamics and cloth-body interactions even in the occluded regions, which was not possible in previous capture methods. Moreover, by formulating depth fitting as a physical process, our system produces cloth tracking results consistent with the depth observation while still maintaining physical constraints. Results and evaluations show the effectiveness of our method. Our method also enables new types of applications such as cloth retargeting, free-viewpoint video rendering and animations.

研究动机与目标

• 解决现有方法中单表面重建的局限性，这些方法无法捕捉衣物与身体的相互作用及动态褶皱。
• 克服以往方法在单视角设置下无法重建被遮挡区域中合理衣物动态的缺陷。
• 通过解耦身体与衣物表示，实现可编辑、可动画化且物理解释一致的虚拟角色。
• 通过整合基于物理的模拟与深度观测拟合，提升重建精度与真实感。
• 通过语义化的多层虚拟角色结构，支持新应用如衣物重定向与自由视角渲染。

提出的方法

• 通过单次旋转扫描自动提取未着装身体与每件衣物的独立网格，构建多层表面表示。
• 对未着装身体进行骨骼追踪，以驱动后续基于真实骨骼运动的布料模拟。
• 在追踪到的身体上应用基于物理的布料模拟，生成合理动态形变与交互。
• 将深度拟合建模为一个物理过程，以在保持物理约束的同时与观测到的深度数据保持一致。
• 通过迭代深度拟合优化布料网格位置，提升与输入深度观测的一致性并减少拟合误差。
• 利用分层结构实现衣物重定向，将衣物从一个受试者成功转移到具有不同体型与姿态的另一受试者上。

实验结果

研究问题

• RQ1 单视角 RGBD 系统能否重建出超越可见区域的逼真、动态衣物形变，包括褶皱与被遮挡区域？
• RQ2 基于物理的布料模拟是否能相比标准蒙皮或形变方法，提升捕捉到的衣物的真实感与物理解释性？
• RQ3 结合物理约束的迭代深度拟合是否能比标准数据拟合产生更准确、更一致的衣物追踪结果？
• RQ4 多层虚拟角色表示是否能支持新应用，如衣物重定向与自由视角渲染？
• RQ5 将身体与衣物追踪分离，如何改善对复杂衣物-身体交互（如层叠与滑动）的建模？

主要发现

• 与基线方法相比，SimulCap 在被遮挡区域等复杂区域显著提升了衣物动态与褶皱细节的真实感，尤其在以往方法失效的区域表现更优。
• 迭代深度拟合过程有效降低了深度拟合误差，并提升了与观测深度数据的一致性，如图11所示的定量结果。
• 系统成功重建了不可见区域的合理衣物运动，经由第二台 RGBD 相机捕捉被遮挡侧面的验证，证明了其准确的形变“幻觉”能力。
• 由于采用分层且基于物理的方法，以往方法常见的伪影（如错误的表面融合、腋下区域的平滑形变）被完全消除。
• 成功演示了衣物重定向，可将衣物从一个受试者转移到不同体型与姿态的另一受试者上，同时保持动态真实感。
• 该方法支持高质量的自由视角视频渲染，并可集成至3D引擎中，实现逼真、动态的着色与动画。