[论文解读] RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

Jiayuan Gu, Sean Kirmani+15 more|arXiv (Cornell University)|Nov 3, 2023

Multimodal Machine Learning Applications被引用 5

一句话总结

RT-Trajectory 提出了一种新颖的策略条件化方法，通过使用粗略的2D轨迹草图作为条件信号，实现对未见过的机器人操作任务的鲁棒泛化。通过在事后生成的轨迹草图上进行训练，该方法在未见过的任务上实现了67%的成功率，显著优于基于语言和目标条件化的基线方法（26%），证明了通过以运动为中心、人类可理解的任务描述方式，能够实现更优的泛化性能。

ABSTRACT

Generalization remains one of the most important desiderata for robust robot learning systems. While recently proposed approaches show promise in generalization to novel objects, semantic concepts, or visual distribution shifts, generalization to new tasks remains challenging. For example, a language-conditioned policy trained on pick-and-place tasks will not be able to generalize to a folding task, even if the arm trajectory of folding is similar to pick-and-place. Our key insight is that this kind of generalization becomes feasible if we represent the task through rough trajectory sketches. We propose a policy conditioning method using such rough trajectory sketches, which we call RT-Trajectory, that is practical, easy to specify, and allows the policy to effectively perform new tasks that would otherwise be challenging to perform. We find that trajectory sketches strike a balance between being detailed enough to express low-level motion-centric guidance while being coarse enough to allow the learned policy to interpret the trajectory sketch in the context of situational visual observations. In addition, we show how trajectory sketches can provide a useful interface to communicate with robotic policies: they can be specified through simple human inputs like drawings or videos, or through automated methods such as modern image-generating or waypoint-generating methods. We evaluate RT-Trajectory at scale on a variety of real-world robotic tasks, and find that RT-Trajectory is able to perform a wider range of tasks compared to language-conditioned and goal-conditioned policies, when provided the same training data.

研究动机与目标

• 解决机器人策略在训练期间未见过的新操作任务上泛化的问题。
• 克服语言和目标条件化方法的局限性，这些方法在运动模式相似但任务语义不同时无法泛化。
• 开发一种实用且人类可理解的任务指定接口，同时保持对低层运动控制的表达能力。
• 使策略能够基于轨迹草图作为条件信号，在已见运动之间插值，并泛化到完全新的运动模式。

提出的方法

• 使用相机视场内投影的2D末端执行器轨迹作为任务条件信号，假设相机已标定。
• 自动从演示数据中提取事后轨迹标签，无需人工标注，从而实现可扩展的数据收集。
• 将预训练的RT-1策略基于这些轨迹草图进行条件化，以指导端到端策略学习。
• 支持通过人工绘制草图、视频或基础模型（如图像生成器或关键点预测器）进行任务指定。
• 将轨迹表示为曲线（末端执行器运动）和圆圈（夹爪状态），以实现视觉可解释性及运动相似性匹配。
• 利用运动相似性（通过Fréchet距离和轨迹对齐）评估泛化性能，并将查询轨迹与最相似的训练轨迹进行比较。

实验结果

研究问题

• RQ1 粗略的2D轨迹草图能否作为机器人策略的有效且可泛化的条件信号，超越语言或目标图像？
• RQ2 在运动模式相似但语义标签不同的新操作任务上，基于轨迹草图条件化的策略能实现多大程度的泛化？
• RQ3 在未见过的任务上，轨迹草图条件化与语言和目标条件化相比，在成功率和鲁棒性方面表现如何？
• RQ4 运动相似性和空间对齐（如首次交互的z高度）在实现对未见技能的泛化中起到什么作用？
• RQ5 轨迹草图能否作为现实世界中人机任务指定的实用且直观的接口？

主要发现

• RT-Trajectory 在7项未见过的操作任务上实现了67%的成功率，显著优于最佳基线方法（26%）所采用的语言或目标条件化方法。
• 即使语义标签或语言描述与训练数据不同，该方法仍能有效泛化到新运动，表明其具备基于运动的泛化能力。
• 与语言或目标条件化相比，轨迹草图能实现更好的泛化，因为其捕捉了语言无法表达的运动相似性。
• 评估结果表明，未见过的任务轨迹与最相似的训练轨迹之间通常存在较大的Fréchet距离和语义不匹配，证实了以运动为中心条件化的必要性。
• 首次交互高度对齐分析揭示了查询轨迹与相似训练轨迹之间存在显著差异，突显了精确空间控制在泛化中的重要性。
• 该方法支持通过草图、视频或基础模型进行实用的任务指定，实现了可扩展且直观的人机交互。