[论文解读] PhysDiff: Physics-Guided Human Motion Diffusion Model

Ye Yuan, Jiaming Song+3 more|arXiv (Cornell University)|Dec 5, 2022

Human Pose and Action Recognition被引用 12

一句话总结

PhysDiff 提出了一种用于人体动作生成的物理引导扩散模型，该模型在去噪过程中迭代应用基于物理的动作投影，以确保动作的物理合理性。通过在物理模拟器中使用动作模仿策略，在每一步去噪后对去噪动作进行校正，该方法在多个数据集上将物理错误减少了超过78%，并实现了最先进（SOTA）的动作质量，优于后处理方法和标准扩散模型。

ABSTRACT

Denoising diffusion models hold great promise for generating diverse and realistic human motions. However, existing motion diffusion models largely disregard the laws of physics in the diffusion process and often generate physically-implausible motions with pronounced artifacts such as floating, foot sliding, and ground penetration. This seriously impacts the quality of generated motions and limits their real-world application. To address this issue, we present a novel physics-guided motion diffusion model (PhysDiff), which incorporates physical constraints into the diffusion process. Specifically, we propose a physics-based motion projection module that uses motion imitation in a physics simulator to project the denoised motion of a diffusion step to a physically-plausible motion. The projected motion is further used in the next diffusion step to guide the denoising diffusion process. Intuitively, the use of physics in our model iteratively pulls the motion toward a physically-plausible space, which cannot be achieved by simple post-processing. Experiments on large-scale human motion datasets show that our approach achieves state-of-the-art motion quality and improves physical plausibility drastically (>78% for all datasets).

研究动机与目标

• 为解决现有动作扩散模型中物理合理性不足的问题，这些模型常产生如漂浮、脚部滑动和地面穿刺等伪影。
• 通过将物理约束直接整合到扩散过程中，而非作为后处理步骤，来提升动作质量和物理真实性。
• 开发一种基于物理的动作投影模块，利用物理模拟器中的动作模仿策略，在每个扩散步骤中校正去噪动作。
• 研究最优的物理投影步骤调度策略，以在物理合理性与动作质量之间取得平衡。
• 证明在扩散过程与物理模拟之间进行迭代耦合，优于在过程末尾进行后处理，后者可能导致动作不稳定或质量下降。

提出的方法

• 引入一种基于物理的动作投影模块，利用学习到的动作模仿策略在物理引擎中模拟并校正去噪动作。
• 在多个扩散步骤中应用该投影模块，通过迭代方式将动作逐步优化至物理合理的空间，同时保持与数据分布的一致性。
• 采用在大规模动作捕捉数据上训练的可微分动作模仿策略，控制模拟器中的角色代理，以强制实现接触、平衡和动力学约束。
• 采用一种扩散过程，其中每个去噪步骤后都跟随一次物理投影，确保物理约束在整个生成过程中被持续嵌入。
• 在不同时间步（如过程末尾、均匀分布或间隔分布）安排物理投影，以研究物理合理性与动作质量之间的权衡。
• 与现有去噪网络（如 MDM、MotionDiffuse）保持兼容，支持即插即用式提升最先进模型，无需重新训练。

实验结果

研究问题

• RQ1 与后处理相比，在扩散过程中迭代应用物理投影是否能显著提升物理合理性？
• RQ2 如何安排物理投影步骤以在物理合理性与动作质量之间取得最佳平衡？
• RQ3 将物理约束整合到扩散过程中，是否能保持或提升动作质量，同时减少漂浮、脚滑等伪影？
• RQ4 物理投影步骤的数量如何影响物理真实感与自然动作质量之间的权衡？
• RQ5 物理引导的扩散模型是否能在 HumanML3D 和 HumanAct12 等标准基准上实现最先进性能？

主要发现

• 在 HumanML3D 基准上的文本到动作生成任务中，PhysDiff 将物理错误减少了超过 86%，显著优于基线扩散模型。
• 在 HumanAct12 和 UESTC 数据集上，模型分别将物理错误指标改善了 78% 和 94%，同时保持了具有竞争力的 FID 分数。
• End 4, Space 1 调度策略——即在过程末尾连续应用四次物理投影，每步间隔为 1——在物理合理性与动作质量之间实现了最佳平衡。
• 在过程末尾进行物理投影的后处理无法提升动作质量，反而常导致质量下降，因为最终动作可能过于不切实际，难以在模拟中稳定运行。
• 增加物理投影步骤可提升物理合理性，但超过某一临界点后会降低动作质量，表明存在明确的权衡关系，需谨慎平衡。
• 由于物理模拟，该模型比 MDM 慢 2.5 倍，但在批量大小为 256 时，推理速度差距缩小至 1.7 倍，显示出并行化优化的潜力。