[论文解读] XIRL: Cross-embodiment Inverse Reinforcement Learning

Kevin Zakka, Andy Zeng+4 more|arXiv (Cornell University)|Jun 7, 2021

Reinforcement Learning in Robotics参考文献 52被引用 10

一句话总结

XIRL 提出了一种自监督逆强化学习方法，通过时间循环一致性从第三人称示范视频中学习与机体无关的视觉表征，从而为不同机器人机体的策略训练提供鲁棒且密集的奖励函数。该方法在模拟和真实世界基准测试中均优于先前方法，在样本效率和零样本泛化能力方面表现卓越。

ABSTRACT

We investigate the visual cross-embodiment imitation setting, in which agents learn policies from videos of other agents (such as humans) demonstrating the same task, but with stark differences in their embodiments -- shape, actions, end-effector dynamics, etc. In this work, we demonstrate that it is possible to automatically discover and learn vision-based reward functions from cross-embodiment demonstration videos that are robust to these differences. Specifically, we present a self-supervised method for Cross-embodiment Inverse Reinforcement Learning (XIRL) that leverages temporal cycle-consistency constraints to learn deep visual embeddings that capture task progression from offline videos of demonstrations across multiple expert agents, each performing the same task differently due to embodiment differences. Prior to our work, producing rewards from self-supervised embeddings typically required alignment with a reference trajectory, which may be difficult to acquire under stark embodiment differences. We show empirically that if the embeddings are aware of task progress, simply taking the negative distance between the current state and goal state in the learned embedding space is useful as a reward for training policies with reinforcement learning. We find our learned reward function not only works for embodiments seen during training, but also generalizes to entirely new embodiments. Additionally, when transferring real-world human demonstrations to a simulated robot, we find that XIRL is more sample efficient than current best methods. Qualitative results, code, and datasets are available at https://x-irl.github.io

研究动机与目标

• 解决从具有不同机体的专家第三人称视频中学习策略的挑战，其中缺乏动作标签。
• 克服由于机体差异（如人手与机械夹爪）导致的轨迹对齐难题。
• 开发一种无需标签的自监督方法，从非配对的示范视频中学习密集且与任务进展相关的奖励函数。
• 仅使用预训练的视觉嵌入，实现将策略零样本迁移至新的、未见过的机器人机体。
• 建立一个基准和真实世界数据集，用于评估跨机体模仿学习方法。

提出的方法

• 利用时间循环一致性（TCC）训练视觉编码器，学习对机体差异具有不变性的视觉嵌入。
• 使用训练好的编码器将视频帧映射到共享嵌入空间，其中保留任务进展信息。
• 将密集奖励定义为学习嵌入空间中当前状态与目标状态之间 L2 距离的负值。
• 使用自监督奖励训练下游强化学习策略，无需真实动作或轨迹对齐。
• 将该方法应用于具有不同形态的模拟智能体，以及将真实人类示范迁移至模拟机器人的场景。
• 使用数据增强（颜色抖动、随机裁剪、灰度化、模糊）和对比学习目标，以提升嵌入质量。

实验结果

研究问题

• RQ1 从多样化专家示范中学习的自监督视觉表征是否能以对机体差异不变的方式捕捉任务进展？
• RQ2 此类表征是否可用于为下游强化学习在未见机器人机体上定义密集且可泛化的奖励函数？
• RQ3 在跨机体设置下，XIRL 相较于先前的模仿学习与逆强化学习方法，在样本效率和最终性能方面表现如何？
• RQ4 在真实人类示范上训练的奖励函数，能在多大程度上被迁移至具有不同机体的模拟机器人上？
• RQ5 TCC 损失和多机体预训练带来的归纳偏置在实现零样本泛化中起到何种作用？

主要发现

• XIRL 学习到的视觉嵌入能够保留任务进展信息，并在无真实动作标注的情况下实现有效的密集奖励设计。
• 在嵌入空间中，当前状态与目标状态之间 L2 距离的负值可作为高度有效且可泛化的强化学习奖励。
• 与基线方法相比，XIRL 在样本效率方面表现更优，部分智能体的学习速度甚至超过使用真实稀疏奖励的情况。
• 该方法可实现对训练期间未见过的新机器人机体的零样本泛化，包括从人类视频到 Sawyer 机器人的真实世界迁移。
• 在 X-MAGICAL 基准测试中，XIRL 在四种不同模拟机体上显著优于基线模仿学习与逆强化学习方法。
• 定性 t-SNE 可视化结果表明，XIRL 嵌入能对齐来自不同专家的轨迹，并且与实际任务进展呈正相关。