[论文解读] Policy Transfer with Strategy Optimization

Wenhao Yu, C. Karen Liu+1 more|arXiv (Cornell University)|Oct 12, 2018

Reinforcement Learning in Robotics参考文献 25被引用 47

一句话总结

SO-CMA 学习一组由动力学参数化的策略族，然后在目标环境中使用 CMA-ES 搜索最佳策略，从而实现跨越大动态差距的鲁棒仿真到现实迁移。

ABSTRACT

Computer simulation provides an automatic and safe way for training robotic control policies to achieve complex tasks such as locomotion. However, a policy trained in simulation usually does not transfer directly to the real hardware due to the differences between the two environments. Transfer learning using domain randomization is a promising approach, but it usually assumes that the target environment is close to the distribution of the training environments, thus relying heavily on accurate system identification. In this paper, we present a different approach that leverages domain randomization for transferring control policies to unknown environments. The key idea that, instead of learning a single policy in the simulation, we simultaneously learn a family of policies that exhibit different behaviors. When tested in the target environment, we directly search for the best policy in the family based on the task performance, without the need to identify the dynamic parameters. We evaluate our method on five simulated robotic control problems with different discrepancies in the training and testing environment and demonstrate that our method can overcome larger modeling errors compared to training a robust policy or an adaptive policy.

研究动机与目标

• 动机：将通过仿真学习的机器人控制策略迁移到具有较大动态差异的未知真实世界类环境。
• 开发一种两阶段方法，通过基于任务性能直接对动态参数进行优化来避免显式的系统辨识。
• 展示对多种现实性差距的鲁棒性，包括时延、执行器建模以及可变形末端执行器，在多项运动任务中的鲁棒性。
• 与鲁棒、自适应和 UPOSI 基线进行比较，展示在有限目标环境样本下的一致迁移性能。

提出的方法

• 训练一个以观测与动态参数 mu 为条件的单一神经网络策略，产生覆盖不同动力学的策略族 pi_mu。
• 在滚动执行过程中，随机从预定义空间中采样 mu，并在整个滚动执行中固定它，以产生与 mu 相关联的策略。
• 将每个实例化的策略 pi_mu 视为一个策略，并形成一个以 mu 参数化的连续策略族。
• 在目标环境中，通过在 mu 空间上使用 CMA-ES 最大化目标任务回报 J_Mt(pi_mu) 来优化 mu*。
• 使用 PPO 训练带有随机化动力学的基础策略，如前期工作所示，形成紧凑、连续的策略表示。
• 通过在目标环境中滚动执行来评估候选策略并计算适应度，从而指导 CMA-ES 的更新。

实验结果

研究问题

• RQ1 在目标动态显著不同于训练动态时，基于参数化策略族的策略优化是否能实现比鲁棒、自适应或 UPOSI 基线更好的迁移？
• RQ2 随机化动力学空间的维数 dim(mu) 如何影响目标域的迁移性能和样本效率？
• RQ3 在目标环境的稀疏奖励条件下，CMA-ES 是否是搜索动力学参数的有效优化器？
• RQ4 SO-CMA 能在仿真到现实的迁移中处理哪些现实世界类差异（时延、执行器建模、可变形末端执行器）？

主要发现

• SO-CMA 在若干迁移情景下，在目标样本有限的情况下始终优于基线方法（鲁棒、Hist、UPOSI）。
• 在基线方法困难时，增加 dim(mu) 能实现更好的迁移，且基于 CMA-ES 的策略优化实现了强劲的最终性能。
• 即使存在诸如时延和执行器建模差异等大规模建模误差，SO-CMA 仍能成功迁移策略，而鲁棒或自适应策略则失效。
• 在稀疏奖励情形下，基于 CMA-ES 的策略搜索仍然有效，而某些基线方法依赖稠密奖励进行微调。
• 该方法还演示了从刚性到可变形末端执行器的迁移，表明在具有挑战性的迁移任务中具备广泛适用性。