[论文解读] Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior

Gabriel B. Margolis, Pulkit Agrawal|arXiv (Cornell University)|Dec 6, 2022

Robotic Locomotion and ControlEngineering被引用 18

一句话总结

本文提出行为多样性（Multiplicity of Behavior, MoB），一种训练单一强化学习策略的方法，通过调节少量行为参数，使该策略能够生成多样化且可控的运动策略，如蹲伏、冲刺或舞蹈。该方法可在不重新训练的情况下实现实时适应分布外环境（如楼梯或湿滑地形），仅使用一个开源控制器便在10余项未见任务中展现出强大的泛化能力。

ABSTRACT

Learned locomotion policies can rapidly adapt to diverse environments similar to those experienced during training but lack a mechanism for fast tuning when they fail in an out-of-distribution test environment. This necessitates a slow and iterative cycle of reward and environment redesign to achieve good performance on a new task. As an alternative, we propose learning a single policy that encodes a structured family of locomotion strategies that solve training tasks in different ways, resulting in Multiplicity of Behavior (MoB). Different strategies generalize differently and can be chosen in real-time for new tasks or environments, bypassing the need for time-consuming retraining. We release a fast, robust open-source MoB locomotion controller, Walk These Ways, that can execute diverse gaits with variable footswing, posture, and speed, unlocking diverse downstream tasks: crouching, hopping, high-speed running, stair traversal, bracing against shoves, rhythmic dance, and more. Video and code release: https://gmargo11.github.io/walk-these-ways/

研究动机与目标

• 解决标准强化学习策略在未见分布外环境（训练期间未遇到）中泛化能力差的问题。
• 克服在政策因未见场景（如楼梯、不平地面或外部推力）失效后需缓慢迭代重训练的困境。
• 通过单一学习策略实现实时、快速的行为参数调优，降低对重训练的依赖。
• 证明单一策略可编码多种有效策略，且在未见任务中表现出不同的泛化特性。
• 提供一个强大且开源的控制器，支持多样化步态及复杂行为（如舞蹈和高速跳跃）。

提出的方法

• 在仿真环境中使用固定任务（如平地行走）训练单一四足运动策略，但引入行为参数化机制以控制步态特征（如脚部摆动高度、支撑宽度和频率）。
• 引入一组可调控的行为参数（如身体高度、脚部摆动、步态频率、相位偏移），实现实时调节策略输出。
• 采用低层控制器，将观测值与行为参数映射为关节力矩，支持实时行为切换。
• 通过实时调节参数，将同一策略应用于多样化任务，包括高速过渡和节奏性步态序列。
• 利用人类操作员实时调参探索行为空间，无需重新训练。
• 发布开源控制器Walk These Ways，支持多样化步态及复杂行为（如敏捷跳跃和同步舞蹈动作）。

实验结果

研究问题

• RQ1 单一学习策略是否能编码多种有效运动策略，且在未见环境中表现出不同的泛化特性？
• RQ2 通过参数调制实现实时行为调优，在适应分布外任务（如楼梯或湿滑表面）方面效果如何？
• RQ3 MoB在不重训练的前提下，对多样化任务的泛化能力提升程度如何？
• RQ4 能否实现高速或精确时序控制的步态切换，以支持复杂任务（如跑酷或同步舞蹈）？
• RQ5 MoB在提供灵活性的同时，与分布内性能之间的权衡如何？

主要发现

• 仅在平地训练的单一策略，通过实时行为调优，成功泛化至多样化分布外任务，包括楼梯、不平地形和外部推力。
• 控制器支持高速步态切换，如加速至3 m/s并完成60 cm前跃，展现出在动态动作中的敏捷性。
• 通过相位与频率调制，精确控制步态参数，可在90 bpm节奏下实现同步舞蹈动作，步态间隙与音乐节拍对齐。
• 系统支持多种行为，包括蹲伏、跳跃、高速奔跑、抵抗推力及负载操作。
• 尽管平地冲刺性能略有下降，该方法仅通过参数调优即在10余项未见任务中实现稳健适应。
• 开源控制器Walk These Ways支持实时行为选择，并已在仿真与真实世界部署中得到验证。