[论文解读] UniCon: Universal Neural Controller For Physics-based Character Motion

Tingwu Wang, Yunrong Guo+2 more|arXiv (Cornell University)|Nov 30, 2020

Human Motion and Animation参考文献 50被引用 13

一句话总结

UniCon 提出了一种用于基于物理的角色动画的通用神经控制器，采用两级框架——高层运动调度与基于强化学习的低层运动执行器——实现了无需微调即可在数千种不同动作上实现实时、鲁棒且可泛化的控制。该方法实现了对未见过的动作、扰动以及视频和键盘输入等不同输入模态的零样本泛化。

ABSTRACT

The field of physics-based animation is gaining importance due to the increasing demand for realism in video games and films, and has recently seen wide adoption of data-driven techniques, such as deep reinforcement learning (RL), which learn control from (human) demonstrations. While RL has shown impressive results at reproducing individual motions and interactive locomotion, existing methods are limited in their ability to generalize to new motions and their ability to compose a complex motion sequence interactively. In this paper, we propose a physics-based universal neural controller (UniCon) that learns to master thousands of motions with different styles by learning on large-scale motion datasets. UniCon is a two-level framework that consists of a high-level motion scheduler and an RL-powered low-level motion executor, which is our key innovation. By systematically analyzing existing multi-motion RL frameworks, we introduce a novel objective function and training techniques which make a significant leap in performance. Once trained, our motion executor can be combined with different high-level schedulers without the need for retraining, enabling a variety of real-time interactive applications. We show that UniCon can support keyboard-driven control, compose motion sequences drawn from a large pool of locomotion and acrobatics skills and teleport a person captured on video to a physics-based virtual avatar. Numerical and qualitative results demonstrate a significant improvement in efficiency, robustness and generalizability of UniCon over prior state-of-the-art, showcasing transferability to unseen motions, unseen humanoid models and unseen perturbation.

研究动机与目标

• 解决现有基于物理的强化学习控制器在角色动画中泛化能力有限且训练成本高的问题。
• 实现在无需微调低层策略的前提下，对广泛运动风格的实时交互式控制。
• 实现对未见扰动和低质量输入动作的鲁棒性。
• 支持键盘命令、视频流和动作拼接等多种输入模态。
• 实现在无显式训练过渡的情况下，自然平滑地实现无关技能之间的物理驱动动作过渡。

提出的方法

• 设计两级架构：高层运动调度器用于输入解析，低层运动执行器通过深度强化学习训练。
• 引入一种约束的多目标奖励函数，以平衡动作跟踪精度、物理合理性与策略稳定性。
• 实现动作平衡器，以在大规模数据集中稳定多样化运动风格的训练过程。
• 应用策略方差控制器，以减少训练过程中的过拟合并提升泛化能力。
• 将低层执行器与高层调度器解耦，支持与多种输入源的即插即用。
• 在大规模多样化行走与杂技动作数据集上训练运动执行器，以实现零样本迁移。

实验结果

研究问题

• RQ1 一个单一神经控制器是否能在不微调的情况下泛化到数千种未见过的多样化动作？
• RQ2 控制器在训练期间未见过的环境扰动下是否仍能保持鲁棒性？
• RQ3 控制器是否能自然平滑地实现无显式训练过渡的无关动作之间的物理驱动过渡？
• RQ4 控制器是否能支持来自视频、键盘或动作序列等多样化输入的实时交互控制？
• RQ5 控制器在不同人形模型和运动风格下的性能如何扩展？

主要发现

• UniCon 实现了对未见动作的零样本泛化，包括训练数据中不存在的、跨无关技能的复杂过渡。
• 控制器在未见环境扰动（如障碍物或不平地形）下仍表现出鲁棒性能，无需额外训练。
• 不同动作之间的动作过渡（如行走到跳跃）自然平滑且符合物理规律，遵循动画中的预兆与渐进/渐出原则。
• 系统支持使用视频输入的实时交互控制，成功将捕捉到的人类动作低延迟地映射到基于物理的角色上。
• 低层运动执行器在不同人形模型和运动风格间具有泛化能力，展现出超越训练分布的强迁移性。
• 该框架实现了高效、实时的动画生成，即使在帧率不匹配或视频输入姿态估计存在噪声的情况下，也无需在线微调。