[论文解读] One-Shot Learning of Manipulation Skills with Online Dynamics Adaptation and Neural Network Priors

Justin Fu, Sergey Levine+1 more|arXiv (Cornell University)|Sep 23, 2015

Reinforcement Learning in Robotics参考文献 23被引用 11

一句话总结

该论文提出了一种基于模型的强化学习方法，结合了来自先前任务的神经网络动力学先验与在线适应的局部线性动力学模型，以实现在单次尝试中学习复杂的机器人操作技能。通过在任务执行过程中迭代优化动力学模型，并结合模型预测控制，该方法实现了高样本效率，并成功在单次尝试中学习了具有挑战性的高接触性任务。

ABSTRACT

One of the key challenges in applying reinforcement learning to complex robotic control tasks is the need to gather large amounts of experience in order to find an effective policy for the task at hand. Model-based reinforcement learning can achieve good sample efficiency, but requires the ability to learn a model of the dynamics that is good enough to learn an effective policy. In this work, we develop a model-based reinforcement learning algorithm that combines prior knowledge from previous tasks with online adaptation of the dynamics model. These two ingredients enable highly sample-efficient learning even in regimes where estimating the true dynamics is very difficult, since the online model adaptation allows the method to locally compensate for unmodeled variation in the dynamics. We encode the prior experience into a neural network dynamics model, adapt it online by progressively refitting a local linear model of the dynamics, and use model predictive control to plan under these dynamics. Our experimental results show that this approach can be used to solve a variety of complex robotic manipulation tasks in just a single attempt, using prior data from other manipulation behaviors.

研究动机与目标

• 解决机器人操作强化学习中的样本效率低下问题，传统方法需要大量交互才能学习新技能。
• 克服在非线性、高接触性环境中仅从有限数据中学习精确动力学模型的困难。
• 通过利用相关任务的先验经验，无需示范或显式领域知识，实现在单次尝试中学习新操作任务。
• 开发一种结合粗略先验知识与在线模型自适应的方法，以提升现实世界机器人控制中的鲁棒性与样本效率。

提出的方法

• 在多个操作任务的先验经验上训练神经网络动力学模型，作为系统动力学的全局先验。
• 在在线任务执行过程中，通过拟合最近交互数据的局部线性近似来适应动力学模型。
• 在模型预测控制（MPC）框架内使用迭代线性二次调节器（iLQR）生成基于自适应动力学模型的控制动作。
• 通过最近的状态-动作转换逐步实时优化动力学模型，实现对未建模动力学变化的局部补偿。
• 利用神经网络先验初始化动力学模型，减少对精确全局建模的需求，提升新任务上的收敛速度。
• 将高维状态观测（关节角度、速度、末端执行器位姿）整合到基于MPC的规划过程中，实现转矩级控制。

实验结果

研究问题

• RQ1 基于模型的强化学习方法是否能仅通过先验经验和在线自适应，实现在单次尝试中学习复杂操作任务？
• RQ2 与简单的线性先验相比，神经网络先验在实现非线性动力学高效样本学习方面效果如何？
• RQ3 在线动力学自适应在具有高不确定性或未建模动力学的任务中，对性能的提升程度如何？
• RQ4 当结合实时自适应时，即使全局先验模型粗糙且不准确，是否仍能实现成功的任务执行？

主要发现

• 所提方法成功在单次尝试中学习并执行了多种具有挑战性的高接触性操作任务，如插销入孔、套环堆叠和方块放置，均在PR2机器人上完成。
• 使用具有短时间上下文的神经网络先验，显著优于简单的线性先验和非自适应的神经网络基线模型。
• 在线自适应在更具挑战性的任务（如方块放置）中尤为有效，通过实现对动态不确定性的局部补偿，显著提升了成功率。
• 即使全局先验模型不准确，由于任务执行过程中的实时模型优化，该方法仍表现出鲁棒性能。
• 鲁棒性实验表明，自适应显著提高了扰动下的成功率，尤其在复杂任务中效果更明显。
• 该方法在任务执行过程中表现出自然的探索行为，例如在意外接触后探测物体，体现了实时自适应学习的特性。