[论文解读] One Policy to Run Them All: an End-to-end Learning Approach to Multi-Embodiment Locomotion

Nico Bohlinger, Grzegorz Czechmanowski+5 more|arXiv (Cornell University)|Sep 10, 2024

Sociology and Norbert Elias被引用 4

一句话总结

本文提出URMA，一种统一的端到端深度强化学习框架，通过与形态无关的编码器和解码器，使单一策略能够控制多种腿式机器人构型——如四足、六足、双足和人形机器人。该方法在仿真和真实世界中均实现了对未见过的机器人的零样本迁移，展示了在无需微调情况下的鲁棒泛化能力，且在不同构型间具有出色的泛化性能。

ABSTRACT

Deep Reinforcement Learning techniques are achieving state-of-the-art results in robust legged locomotion. While there exists a wide variety of legged platforms such as quadruped, humanoids, and hexapods, the field is still missing a single learning framework that can control all these different embodiments easily and effectively and possibly transfer, zero or few-shot, to unseen robot embodiments. We introduce URMA, the Unified Robot Morphology Architecture, to close this gap. Our framework brings the end-to-end Multi-Task Reinforcement Learning approach to the realm of legged robots, enabling the learned policy to control any type of robot morphology. The key idea of our method is to allow the network to learn an abstract locomotion controller that can be seamlessly shared between embodiments thanks to our morphology-agnostic encoders and decoders. This flexible architecture can be seen as a potential first step in building a foundation model for legged robot locomotion. Our experiments show that URMA can learn a locomotion policy on multiple embodiments that can be easily transferred to unseen robot platforms in simulation and the real world.

研究动机与目标

• 解决缺乏统一学习框架来控制多种腿式机器人构型而无需微调的问题。
• 实现在仿真和真实世界中对新型机器人构型的零样本部署，仅使用单一运动策略。
• 开发一种与形态无关的神经架构，以处理不同机器人平台间可变大小的观测和动作空间。
• 通过实现跨多种构型的知识迁移，推动构建腿式机器人运动的通用基础模型。
• 克服现有方法的局限性，即每种机器人类型都需要特定的网络架构和超参数。

提出的方法

• 提出URMA（统一机器人构型架构），采用与形态无关的编码器和解码器，统一不同机器人构型的输入和输出表征。
• 采用端到端的多任务强化学习设置，使单一策略在仿真环境中同时训练16种不同的机器人平台。
• 训练过程中使用领域随机化和动态环境随机化，以提升鲁棒性并实现零样本迁移。
• 采用共享表征空间，抽象出具体关节数量和运动学结构的差异，使策略能够跨构型泛化。
• 利用分层架构，结合共享特征提取器与任务特定头，并通过注意力或路由机制实现动态适配。
• 采用课程学习和奖励塑形策略，以稳定训练过程，提升在多样化且复杂构型下的学习效率。

Figure 1: Top – We train a single locomotion policy for multiple robot embodiments in simulation. Bottom – We can transfer and deploy the policy on three real-world platforms by randomizing the embodiments and environment dynamics during training.

实验结果

研究问题

• RQ1 能否训练单一深度强化学习策略，以控制具有不同肢体和关节数量的多种独立腿式机器人构型？
• RQ2 在未微调的情况下，于多样化构型上训练的策略，能在多大程度上泛化到完全未见过的机器人平台？
• RQ3 所提出的与形态无关的架构在仿真和真实世界机器人中实现零样本部署的效率如何？
• RQ4 共享表征学习对策略泛化能力及跨构型变化的样本效率有何影响？
• RQ5 该框架能否作为腿式机器人运动的通用基础模型，实现对新平台的少样本适应？

主要发现

• URMA框架成功在仿真环境中训练单一策略控制16种不同构型的机器人，包括四足、六足、双足和人形机器人。
• 该策略在未见过的两个仿真机器人平台和三个真实世界机器人上实现了零样本部署，无需任何微调或超参数调整。
• 该策略在仿真和真实世界部署中均表现出对多样化地形和动态环境的鲁棒运动性能。
• 与形态无关的架构实现了对可变大小观测和动作空间的无缝处理，无需为每种机器人类型重新配置网络架构。
• 该方法在多样化构型中实现了稳定高效的训练，性能与从零开始训练的任务特定策略相当。
• 该框架展现出作为腿式机器人运动通用基础模型的强潜力，可实现对新平台的快速部署，且仅需极少适应。

Figure 2: Overview of URMA. Left – Joint observations and descriptions are encoded and combined into a single joint latent vector through an attention head. Bottom center – Feet observations and descriptions are encoded in the same way. Top center – Joint latent, feet latent, and general observation