[论文解读] Waypoint-Based Imitation Learning for Robotic Manipulation

Lucy Xiaoyang Shi, Archit Sharma+2 more|arXiv (Cornell University)|Jul 26, 2023

Robot Manipulation and Learning被引用 8

一句话总结

本文提出自动航点提取（AWE）——一种预处理方法，通过重建预算线性插值从演示中自动选择最小数量的航点。AWE 可嵌入行为克隆（BC），并提升扩散策略与 ACT 的性能，在仿真中成功率提升最多达 25%，在真实世界双手任务中提升 4–28%，同时缩短决策视野。

ABSTRACT

While imitation learning methods have seen a resurgent interest for robotic manipulation, the well-known problem of compounding errors continues to afflict behavioral cloning (BC). Waypoints can help address this problem by reducing the horizon of the learning problem for BC, and thus, the errors compounded over time. However, waypoint labeling is underspecified, and requires additional human supervision. Can we generate waypoints automatically without any additional human supervision? Our key insight is that if a trajectory segment can be approximated by linear motion, the endpoints can be used as waypoints. We propose Automatic Waypoint Extraction (AWE) for imitation learning, a preprocessing module to decompose a demonstration into a minimal set of waypoints which when interpolated linearly can approximate the trajectory up to a specified error threshold. AWE can be combined with any BC algorithm, and we find that AWE can increase the success rate of state-of-the-art algorithms by up to 25% in simulation and by 4-28% on real-world bimanual manipulation tasks, reducing the decision making horizon by up to a factor of 10. Videos and code are available at https://lucys0.github.io/awe/

研究动机与目标

• 通过通过自动航点选择缩短 BC 的决策视野以减少模仿学习中的累积误差。
• 提供仅依赖演示中的本体感知数据的零监督航点提取。
• 证明 AWE 与最先进的 BC 方法及真实世界机器人任务的兼容性。

提出的方法

• 将重建损失 L 定义为真实轨迹与其使用航点线性插值重建之间的最大本体感知距离。
• 使用动态规划选择最小数量的航点 W，使 L(f(W), tau) <= eta。
• 对演示进行预处理，通过下一个航点重新标注训练数据，使 BC 预测航点而非原始动作。
• 将 AWE 与扩散策略和带变换器的动作分块（ACT）结合，在仿真与真实任务上评估性能。
• 讨论实际考量，如策略表达能力和误差预算 eta 对航点数量与性能的影响。

Figure 1: Our approach reduces the horizon of imitation learning by extracting waypoints from demonstrations.

实验结果

研究问题

• RQ1 AWE 能否在长时域操作任务上提升代表性 BC 方法的性能？
• RQ2 AWE 是否使在仿真基准和真实机器人中的从真实人类演示中学习成为可能？
• RQ3 误差预算 eta 与策略表达能力如何影响 AWE 的收益？
• RQ4 AWE 是否在跨任务中与基于扩散的和基于变换器的 BC 架构互补？
• RQ5 仅依赖本体感知信号进行航点提取的局限性是什么？

主要发现

• AWE + ACT 在仿真中的两项双手操作任务上显著优于 ACT（成功率最高提升至 25%），在真实任务中提升幅度为 Screwdriver Handover、Wiping Table 和 Coffee Making 的 8–28%，表现优于 ACT。
• 在 RoboMimic 任务中，随着演示数量从 30 增至 200，AWE 持续提升扩散策略的性能，长时域任务（如 Square 30 次演示时的 18%）尤为显著。
• AWE 将有效训练视野降低 7 倍到 10 倍，使轨迹中许多部分可以由简单的线性插值段驱动低层控制。
• 真实机器人实验表明，AWE 在三项灵巧任务上提高成功率，Coffee Making 最高提升至 28%，Screwdriver Handover 与 Wiping the Table 也有稳定增益。
• AWE 的收益依赖于使用表达能力强的策略类（如 GMM），以处理由航点标注引起的多模态性；单峰 BC 可能在引入 AWE 后表现下降。

Figure 2: Visualizing the loss $\mathcal{L}$ .