[论文解读] We are More than Our Joints: Predicting how 3D Bodies Move

Yan Zhang, Michael J. Black+1 more|arXiv (Cornell University)|Dec 1, 2020

Human Pose and Action Recognition参考文献 63被引用 7

一句话总结

MOJO 提出了一种新颖的 3D 人体运动预测框架，用稀疏的体表标记点替代传统的关节表示，以提升运动的真实感和身体结构的有效性。通过使用具有潜在 DCT 空间的条件变分自编码器以及递归的 SMPL-X 拟合方法，MOJO 生成了多样化且具有高频特性的运动，同时保持了解剖学上有效的身体形态，在 AMASS 数据集上实现了最先进性能，显著减少了足部滑移和骨骼形变现象。

ABSTRACT

A key step towards understanding human behavior is the prediction of 3D human motion. Successful solutions have many applications in human tracking, HCI, and graphics. Most previous work focuses on predicting a time series of future 3D joint locations given a sequence 3D joints from the past. This Euclidean formulation generally works better than predicting pose in terms of joint rotations. Body joint locations, however, do not fully constrain 3D human pose, leaving degrees of freedom undefined, making it hard to animate a realistic human from only the joints. Note that the 3D joints can be viewed as a sparse point cloud. Thus the problem of human motion prediction can be seen as point cloud prediction. With this observation, we instead predict a sparse set of locations on the body surface that correspond to motion capture markers. Given such markers, we fit a parametric body model to recover the 3D shape and pose of the person. These sparse surface markers also carry detailed information about human movement that is not present in the joints, increasing the naturalness of the predicted motions. Using the AMASS dataset, we train MOJO, which is a novel variational autoencoder that generates motions from latent frequencies. MOJO preserves the full temporal resolution of the input motion, and sampling from the latent frequencies explicitly introduces high-frequency components into the generated motion. We note that motion prediction methods accumulate errors over time, resulting in joints or markers that diverge from true human bodies. To address this, we fit SMPL-X to the predictions at each time step, projecting the solution back onto the space of valid bodies. These valid markers are then propagated in time. Experiments show that our method produces state-of-the-art results and realistic 3D body animations. The code for research purposes is at https://yz-cnsdqz.github.io/MOJO/MOJO.html

研究动机与目标

• 为解决基于关节的 3D 运动预测方法存在的局限性，此类方法无法有效约束肢体旋转，导致随时间推移产生不合理的身体形态。
• 通过建模仅靠关节位置无法捕捉的细微、高频身体运动，提升运动的真实感。
• 通过在每个时间步将标记点预测投影回有效 3D 身体流形，确保预测运动保持解剖学上的有效性。
• 证明基于标记点的表示方法在运动自然度和几何合理性方面优于基于关节的方法。
• 开发一种生成模型，保持完整的时序分辨率，并支持多样化、高频运动的采样。

提出的方法

• MOJO 使用人体表面的一组稀疏 3D 标记点来表示人体运动，替代传统的基于关节的表示方法。
• 采用条件变分自编码器（CVAE），其潜在空间通过离散余弦变换（DCT）分解，以独立建模运动频率。
• 模型使用鲁棒的 Kullback–Leibler 散度（KLD）项，隐式地将潜在先验偏向低频分量，同时在低频带中实现潜在流的多样化（DLows），在高频带中使用标准正态噪声。
• 推理阶段，MOJO 递归地将 SMPL-X 人体模型拟合到预测的标记点上，将其投影回有效身体流形，以防止几何失真。
• 该方法保持了完整的时序分辨率，支持具有高频细节的多样化未来运动的随机采样。
• 该框架在 AMASS 数据集上进行训练，并使用 MPJPE、BDF、足部滑移和感知评分等指标进行评估。

实验结果

研究问题

• RQ1 用体表标记点替代基于关节的运动表示，能否提升 3D 人体运动预测的真实感与几何有效性？
• RQ2 通过 DCT 在潜在频率空间中建模运动，能否增强对细微和高频身体运动的建模能力？
• RQ3 将预测的标记点递归投影到有效身体流形上，能否减少误差累积并防止不合理的身体形变？
• RQ4 与基于关节的基线方法相比，基于标记点的 MOJO 框架在运动准确性、多样性与感知质量方面表现如何？
• RQ5 与标准潜在向量方法相比，基于 DCT 的潜在空间是否能减少足部滑移伪影？

主要发现

• MOJO 通过其基于 DCT 的潜在空间建模高频运动分量，显著减少了足部滑移伪影，在此指标上优于非 DCT 基线方法。
• 递归的 SMPL-X 拟合方案完全消除了在基于关节的流水线中常见的骨骼形变和错误姿态，即使预测随时间发生偏离也无影响。
• 使用 67 个标记点（SSM2 布局）在所有指标上均优于更少标记点或仅使用关节的表示方式，证明了标记点分布的重要性。
• 在包含精细动作的 BMLhandball 数据集上，MOJO 在感知评估中优于 MOJO-DCT 变体，表明高频建模在细节运动中的优势。
• 即使采用相同的递归投影方案，基于关节的基线仍会产生骨骼形变，而 MOJO 的基于标记点方法则完全消除了此类伪影。
• MOJO 在 AMASS 数据集上实现了最先进性能，相比先前方法，感知质量更优，几何不一致性更少。