[论文解读] VER: Scaling On-Policy RL Leads to the Emergence of Navigation in Embodied Rearrangement

Erik Wijmans, Irfan Essa+1 more|arXiv (Cornell University)|Oct 11, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出了一种新型的在线策略强化学习方法——可变经验回放（Variable Experience Rollout, VER），通过根据环境的仿真速度动态调整每个环境的回放长度，消除了异构多GPU环境中的落后者效应（straggler effect），实现了高吞吐量的在线策略学习。VER在保持或提升样本效率的同时，相比最先进的方法如DD-PPO和SampleFactory实现了1.6倍至2.7倍的速度提升，并在原本不需要导航的任务（如具身重排中的拾取-放置任务）中意外涌现出导航能力。

ABSTRACT

We present Variable Experience Rollout (VER), a technique for efficiently scaling batched on-policy reinforcement learning in heterogenous environments (where different environments take vastly different times to generate rollouts) to many GPUs residing on, potentially, many machines. VER combines the strengths of and blurs the line between synchronous and asynchronous on-policy RL methods (SyncOnRL and AsyncOnRL, respectively). VER learns from on-policy experience (like SyncOnRL) and has no synchronization points (like AsyncOnRL). VER leads to significant and consistent speed-ups across a broad range of embodied navigation and mobile manipulation tasks in photorealistic 3D simulation environments. Specifically, for PointGoal navigation and ObjectGoal navigation in Habitat 1.0, VER is 60-100% faster (1.6-2x speedup) than DD-PPO, the current state of art distributed SyncOnRL, with similar sample efficiency. For mobile manipulation tasks (open fridge/cabinet, pick/place objects) in Habitat 2.0 VER is 150% faster (2.5x speedup) on 1 GPU and 170% faster (2.7x speedup) on 8 GPUs than DD-PPO. Compared to SampleFactory (the current state-of-the-art AsyncOnRL), VER matches its speed on 1 GPU, and is 70% faster (1.7x speedup) on 8 GPUs with better sample efficiency. We leverage these speed-ups to train chained skills for GeometricGoal rearrangement tasks in the Home Assistant Benchmark (HAB). We find a surprising emergence of navigation in skills that do not ostensible require any navigation. Specifically, the Pick skill involves a robot picking an object from a table. During training the robot was always spawned close to the table and never needed to navigate. However, we find that if base movement is part of the action space, the robot learns to navigate then pick an object in new environments with 50% success, demonstrating surprisingly high out-of-distribution generalization.

研究动机与目标

• 为解决具身人工智能中在线策略强化学习在吞吐量与样本效率之间的权衡问题。
• 消除在异构、多GPU环境中因仿真速度差异导致的批量在线策略训练中的落后者效应。
• 在保持在线策略数据质量和样本效率的同时，实现向大量GPU的高效扩展。
• 研究在非导航任务中启用导航动作是否能导致涌现的导航策略并提升泛化能力。
• 在HAB等具有挑战性的具身重排基准测试中，展示VER的有效性，包括更快的训练速度和更优的性能。

提出的方法

• VER根据仿真速度动态调整每个环境的回放步数，从更快的环境中收集更多经验，从更慢的环境中收集更少经验。
• 它结合了同步方法的在线策略学习特性与异步方法无同步点的特性，避免了落后者延迟，同时保持了数据质量。
• VER采用去中心化的分布式训练框架，实现跨多个GPU的高效扩展，实现经验收集与策略更新的重叠。
• 它利用可变长度的回放来维持在线策略数据，确保高样本效率，且无同步瓶颈。
• VER可与Habitat等现有仿真器集成，并通过最小的架构修改支持多环境批量处理。
• 该方法支持学习与经验收集的重叠，提升了计算资源利用率和吞吐量。

实验结果

研究问题

• RQ1 能否在不牺牲样本效率的前提下，高效地将在线策略强化学习扩展到异构、多GPU环境中？
• RQ2 针对每个环境动态调整回放长度是否能消除在线策略训练中的落后者效应？
• RQ3 在非导航任务中启用导航动作是否能导致涌现的导航策略？
• RQ4 VER与最先进的在线策略方法（如DD-PPO和SampleFactory）相比，在速度和样本效率方面表现如何？
• RQ5 涌现的导航能力是否能提升在复杂具身重排基准（如HAB）上的性能？

主要发现

• 在Habitat 1.0的PointGoal和ObjectGoal导航任务中，VER相比DD-PPO训练速度提升60%–100%（1.6–2倍），样本效率相当。
• 在Habitat 2.0的移动操作任务中，VER在1张GPU上比DD-PPO快150%（2.5倍速度提升），在8张GPU上快170%（2.7倍速度提升）。
• 在8张GPU上，VER比SampleFactory快70%（1.7倍速度提升），且样本效率更优，每项技能节省11.2个GPU天的计算资源。
• 与DD-PPO相比，VER在PointNav任务中每轮种子节省19.2个GPU天，在ObjectNav任务中节省28个GPU天。
• 在Home Assistant Benchmark（HAB）中，VER训练的智能体在Tidy House任务中成功率提升30%，表现出更强的分布外泛化能力。
• 令人惊讶的是，一个原本不需导航的Pick技能，在启用基础移动功能后，能在新环境中实现50%的成功率，表明出现了涌现的导航能力。