[论文解读] Robotic Imitation of Human Assembly Skills Using Hybrid Trajectory and Force Learning

Yan Wang, Cristian C. Beltran-Hernandez+2 more|arXiv (Cornell University)|Mar 10, 2021

Robot Manipulation and Learning参考文献 32被引用 4

一句话总结

本文提出了一种混合学习框架，结合分层目标条件模仿学习（HGCIL）以获取轨迹，并采用基于强化学习的力控制，使机器人能够模仿人类的装配技能。该方法在低间隙插入和变力需求的现实装配任务中实现了鲁棒且高质量的轨迹与力控制，在样本效率和现实世界可迁移性方面优于基线方法。

ABSTRACT

Robotic assembly tasks involve complex and low-clearance insertion trajectories with varying contact forces at different stages. While the nominal motion trajectory can be easily obtained from human demonstrations through kinesthetic teaching, teleoperation, simulation, among other methods, the force profile is harder to obtain especially when a real robot is unavailable. It is difficult to obtain a realistic force profile in simulation even with physics engines. Such simulated force profiles tend to be unsuitable for the actual robotic assembly due to the reality gap and uncertainty in the assembly process. To address this problem, we present a combined learning-based framework to imitate human assembly skills through hybrid trajectory learning and force learning. The main contribution of this work is the development of a framework that combines hierarchical imitation learning, to learn the nominal motion trajectory, with a reinforcement learning-based force control scheme to learn an optimal force control policy, that can satisfy the nominal trajectory while adapting to the force requirement of the assembly task. To further improve the imitation learning part, we develop a hierarchical architecture, following the idea of goal-conditioned imitation learning, to generate the trajectory learning policy on the extit{skill} level offline. Through experimental validations, we corroborate that the proposed learning-based framework is robust to uncertainty in the assembly task, can generate high-quality trajectories, and can find suitable force control policies, which adapt to the task's force requirements more efficiently.

研究动机与目标

• 为了解决由于仿真中的现实差距，导致在机器人装配任务中学习真实力轮廓的挑战。
• 开发一种稳健的框架，结合轨迹学习与力学习，以应对低间隙、接触丰富的装配任务。
• 通过使用分层模仿学习来提升轨迹策略学习的样本效率与泛化能力。
• 实现在仿真中训练的策略在现实世界硬件上的迁移，且仅需极少微调。
• 在不确定性条件下，动态适应不同任务阶段（搜索与插入）的力控制。

提出的方法

• 该框架使用分层目标条件模仿学习（HGCIL）来学习高层技能策略，以生成轨迹执行的子目标，从而提升样本效率与鲁棒性。
• 并行位置/力控制器结合了PD与PI控制：PD根据位姿误差调节位置轨迹，而PI根据测量到的接触力调整力。
• 力控制策略通过强化学习（RL）学习，策略被训练为在遵循标称轨迹的同时维持期望的力水平。
• 系统采用两阶段训练流程：先离线训练HGCIL以获取轨迹策略，随后通过迁移学习从先前任务中微调，使用RL训练力策略。
• 控制器根据任务阶段动态调整增益 $K_p^p$ 和 $K_p^f$ —— 在插入阶段提高 $K_p^p$ 以增强稳定性，并降低 $K_p^f$ 以限制力的超调。
• 通过动力学教学或仿真收集演示数据，力策略使用来自相似任务的预训练策略进行初始化，以加速收敛。

实验结果

研究问题

• RQ1 分层模仿学习方法是否能有效从人类演示中学习复杂、低间隙的插入轨迹，并提升样本效率？
• RQ2 基于强化学习的力控制策略如何适应装配任务不同阶段中变化的力需求？
• RQ3 在无需大量重新调优的情况下，仿真中训练的策略在多大程度上可成功迁移到真实世界机器人硬件？
• RQ4 该混合轨迹-力学习框架在现实装配中如何处理轨迹与力的不确定性？
• RQ5 与标准行为克隆及带重标记的目标条件行为克隆相比，所提出的框架在任务成功率与样本效率方面是否表现更优？

主要发现

• 与基线的普通行为克隆及GCBC-重标记方法相比，HGCIL方法在仿真中实现了更高品质的轨迹模仿与更优的样本效率。
• 在仿真中训练的策略（P-14模型）无需微调即成功迁移到真实UR3e机器人上，在33.3分钟的训练时间内完成了L型插入任务。
• 在带有障碍物和摩擦的HDMI插入任务中，学习到的策略在16.3秒内完成（326步），而初始策略在25秒内即失败。
• 控制器在执行过程中动态调整了 $K_p^p$ 和 $K_p^f$：在插入阶段提高 $K_p^p$ 以确保轨迹遵循性，同时降低 $K_p^f$ 以防止力超调。
• 该框架对轨迹不确定性和力不确定性表现出鲁棒性，在不同插入阶段均能保持稳定的接触力。
• 利用L型插入任务中预训练的力策略进行迁移学习，显著缩短了后续任务（如冷凝器和HDMI装配）的训练时间。