[论文解读] Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes

Jiashun Wang, Huazhe Xu+3 more|arXiv (Cornell University)|Dec 10, 2020

Human Pose and Action Recognition参考文献 69被引用 7

一句话总结

本文提出了一种分层生成框架，通过先使用条件变分自编码器（CVAE）预测子目标姿态，再利用双向LSTM生成短时运动序列，实现3D场景中长期3D人体运动的合成，同时通过显式的几何优化强制实现物理合理性与人-场景交互。该方法在PROX和MP3D数据集上实现了运动真实感与场景契合度的最先进性能。

ABSTRACT

Synthesizing 3D human motion plays an important role in many graphics applications as well as understanding human activity. While many efforts have been made on generating realistic and natural human motion, most approaches neglect the importance of modeling human-scene interactions and affordance. On the other hand, affordance reasoning (e.g., standing on the floor or sitting on the chair) has mainly been studied with static human pose and gestures, and it has rarely been addressed with human motion. In this paper, we propose to bridge human motion synthesis and scene affordance reasoning. We present a hierarchical generative framework to synthesize long-term 3D human motion conditioning on the 3D scene structure. Building on this framework, we further enforce multiple geometry constraints between the human mesh and scene point clouds via optimization to improve realistic synthesis. Our experiments show significant improvements over previous approaches on generating natural and physically plausible human motion in a scene.

研究动机与目标

• 解决长期3D人体运动合成中忽视人-场景交互与功能推理的空白。
• 通过建模物理合理性与接触约束，弥合运动合成与场景功能之间的脱节。
• 在复杂3D环境中生成自然、物理合理且多样的长期人体运动序列。
• 通过深度学习与显式几何优化相结合，提升运动真实感。
• 通过在3D场景中对起始/结束位置和子目标姿态进行条件控制，实现可控的运动合成。

提出的方法

• 采用两阶段分层框架：首先，使用条件变分自编码器（CVAE）基于3D场景上下文预测SMPL-X参数以生成子目标姿态。
• 其次，使用双向LSTM基于SMPL-X表示和3D场景输入，在子目标之间生成短时运动序列。
• 框架使用可微分的SMPL-X模型表示人体，实现与场景点云之间的精确几何约束。
• 通过基于优化的精炼步骤，最小化穿透并确保与场景表面的接触，从而强制实现物理合理性。
• 通过可微分优化过程在人体网格与场景点云之间施加几何约束，平衡运动自然性与碰撞避免。
• 最终的长期运动通过拼接优化后的短时运动序列生成。

实验结果

研究问题

• RQ1 分层深度生成模型能否在复杂3D场景中有效合成长期3D人体运动，同时保持物理合理性？
• RQ2 如何联合建模场景功能与人体几何，以提升运动真实感与交互质量？
• RQ3 显式几何优化在多大程度上提升了学习到的运动序列的物理合理性？
• RQ4 在PROX上训练的模型能否泛化到未见过的3D环境（如MP3D）？
• RQ5 该方法在定量和定性上与最先进的人体运动与姿态生成方法相比表现如何？

主要发现

• 该方法在6秒运动序列的人工评估中取得最高得分3.65 ± 0.96，接近真实值（3.92 ± 0.91）。
• 经过优化后，该方法将邻居v2v距离降低至8.25，显著优于次佳基线方法（Route+CVAE: 21.78），并接近真实值（3.59）。
• 在PROX数据集上，该方法在接触与碰撞避免指标上均取得最佳表现，得分分别为3.55 ± 0.88和3.30 ± 0.96。
• 优化过程显著提升了基线性能：对于Route+CVAE，v2v距离从10.59（无优化）降至8.25（有优化）；对于HSNMS，从10.84降至7.31。
• 通过控制子目标的身体形状、姿态和位置，该框架实现了多样化的运动生成，即使在相同起始-结束路径下也能生成各异的运动序列。
• 该模型在MP3D数据集上表现出良好的泛化能力，即使在随机采样的起始/结束配置下，也能生成逼真且环境自适应的运动序列。