[论文解读] Neural Dynamic Policies for End-to-End Sensorimotor Learning

Shikhar Bahl, Mustafa Mukadam+2 more|arXiv (Cornell University)|Dec 4, 2020

Robot Manipulation and Learning被引用 9

一句话总结

本文提出神经动态策略（NDPs），一种新颖的深度学习框架，通过使用可微分的二阶动力系统（特别是动态运动基元DMPs）重参数化动作空间，实现在轨迹分布空间中的端到端学习。通过将动力学结构嵌入神经策略网络，NDPs在连续、高维的机器人控制任务中，相较于以往方法，在模仿学习与强化学习方面均实现了更优的样本效率和性能表现。

ABSTRACT

The current dominant paradigm in sensorimotor control, whether imitation or reinforcement learning, is to train policies directly in raw action spaces such as torque, joint angle, or end-effector position. This forces the agent to make decisions individually at each timestep in training, and hence, limits the scalability to continuous, high-dimensional, and long-horizon tasks. In contrast, research in classical robotics has, for a long time, exploited dynamical systems as a policy representation to learn robot behaviors via demonstrations. These techniques, however, lack the flexibility and generalizability provided by deep learning or reinforcement learning and have remained under-explored in such settings. In this work, we begin to close this gap and embed the structure of a dynamical system into deep neural network-based policies by reparameterizing action spaces via second-order differential equations. We propose Neural Dynamic Policies (NDPs) that make predictions in trajectory distribution space as opposed to prior policy learning methods where actions represent the raw control space. The embedded structure allows end-to-end policy learning for both reinforcement and imitation learning setups. We show that NDPs outperform the prior state-of-the-art in terms of either efficiency or performance across several robotic control tasks for both imitation and reinforcement learning setups. Project video and code are available at https://shikharbahl.github.io/neural-dynamic-policies/

研究动机与目标

• 解决在高维、长时程机器人任务中，直接在原始动作空间（如力矩、关节角）进行策略学习时的可扩展性限制。
• 通过将经典机器人动力系统（如DMPs）与现代深度学习相结合，将它们作为可微分层嵌入神经网络，弥合两者之间的鸿沟。
• 通过结构化的轨迹表示，在模仿学习与强化学习设置中实现策略的端到端训练。
• 通过在物理上合理的轨迹分布空间中进行学习，而非直接在原始控制输入空间中学习，从而提升泛化能力与样本效率。

提出的方法

• 使用建模轨迹动力学的二阶微分方程重参数化动作空间，特别采用DMPs作为底层动力学结构。
• 从基于环境状态条件化的深度网络特征中预测DMP参数（权重与目标），实现端到端反向传播。
• 将动力系统作为可微分层集成到深度神经网络中，使梯度能够通过系统流动，实现联合优化。
• 使用开环控制器从预测的动力系统生成动作，使推理过程中无需实时反馈即可执行轨迹。
• 通过监督学习（模仿学习）或强化学习（带奖励）进行端到端策略训练，利用结构化动作空间提升样本效率。
• 通过将DMPs基于高维观测进行条件化，支持灵活集成到基于视觉的模仿学习与深度强化学习设置中。

实验结果

研究问题

• RQ1 将可微分动力系统嵌入深度策略是否能提升连续机器人控制任务中的样本效率与性能？
• RQ2 与直接在原始动作空间中学习相比，通过NDPs在轨迹分布空间中学习，在泛化能力与可扩展性方面表现如何？
• RQ3 NDPs是否可在无需架构重构的情况下，有效应用于模仿学习与强化学习设置？
• RQ4 在神经策略中使用DMPs作为归纳偏置，是否能提升在多样化行为与任务中的泛化能力？

主要发现

• NDPs在模仿学习与强化学习设置中均优于当前最先进方法，在保持或提升性能的同时显著提升样本效率。
• 该方法实现了在轨迹空间中推理的策略端到端训练，减少了在原始动作空间中逐时间步决策的需求。
• 通过端到端学习DMP参数，NDPs能根据输入状态动态适应，实现在时间和任务上的灵活行为生成。
• 可微分DMP层使梯度能够反向传播通过动力系统，实现策略与轨迹结构的联合优化。
• 由于物理合理性的归纳偏置，NDPs在多样化机器人控制任务中（包括长时程与高维控制）展现出良好泛化能力。