[论文解读] Understanding Domain Randomization for Sim-to-real Transfer

Xiaoyu Chen, Jiachen Hu+3 more|arXiv (Cornell University)|Oct 7, 2021

Reinforcement Learning in Robotics参考文献 54被引用 33

一句话总结

本文提供一个通过域随机化进行仿真到现实的理论框架，将仿真器建模为潜在 MDP，并在各种设定下推导 sim-to-real 差距的界限。

ABSTRACT

Reinforcement learning encounters many challenges when applied directly in the real world. Sim-to-real transfer is widely used to transfer the knowledge learned from simulation to the real world. Domain randomization -- one of the most popular algorithms for sim-to-real transfer -- has been demonstrated to be effective in various tasks in robotics and autonomous driving. Despite its empirical successes, theoretical understanding on why this simple algorithm works is limited. In this paper, we propose a theoretical framework for sim-to-real transfers, in which the simulator is modeled as a set of MDPs with tunable parameters (corresponding to unknown physical parameters such as friction). We provide sharp bounds on the sim-to-real gap -- the difference between the value of policy returned by domain randomization and the value of an optimal policy for the real world. We prove that sim-to-real transfer can succeed under mild conditions without any real-world training samples. Our theory also highlights the importance of using memory (i.e., history-dependent policies) in domain randomization. Our proof is based on novel techniques that reduce the problem of bounding the sim-to-real gap to the problem of designing efficient learning algorithms for infinite-horizon MDPs, which we believe are of independent interest.

研究动机与目标

• 将 sim-to-real 转移表述为带有可调仿真参数的潜在 MDP 问题。
• 在有限与无限仿真器类别下分析域随机化的 sim-to-real 差距。
• 证明记忆（基于历史的策略）对实现有效的 sim-to-real 转移至关重要。
• 提供一个新颖的证明框架，将 sim-to-real 差距与带函数近似的无限-horizon MDP 的学习关联起来。

提出的方法

• 将仿真器建模为一组带潜在参数的 MDP，表示真实世界因素（例如摩擦）。
• 将域随机化定义为从一组 MDP 的分布中采样，以形成具有记忆需求的潜在 MDP。
• 引入 Domain Randomization Oracle，它为潜在 MDP 返回一个最优的历史相关策略。
• 推导在三种设定下的 sim-to-real 差距上界：有限且有分离、有限但无分离，以及无限仿真器类别。
• 将基准策略构造与带函数近似的 infinite-horizon 平均奖励 MDP 的后悔界联系起来。

实验结果

研究问题

• RQ1 在什么条件下，域随机化相对于真实世界的时长 H 能保证 sublinear 的 sim-to-real 差距？
• RQ2 在域随机化下，有限与无限仿真器类别如何影响 sim-to-real 差距？
• RQ3 记忆（历史依赖）在实现有利的 sim-to-real 保证中起到怎样的作用？
• RQ4 是否能推导出一个可证明高效的基于模型的学习算法，用于带一般函数近似的无限-horizon 平均奖励 MDP 的学习，与域随机化相关？
• RQ5 对仿真器类别的哪些条件能确保在没有真实世界训练数据的情况下域随机化仍然有效？

主要发现

• 对于有限仿真器类别且具有分离条件，sim-to-real 差距是 O(D M^3 log(MH) log^2(SMH/δ) / δ^4)。
• 在没有分离但仍有限的情况下，sim-to-real 差距是 O(D sqrt(M^3 H log(MH))).
• 在无限仿真器类别且对真实 MDP 附近具有光滑性时，差距受限于包含 D、eluder dimension de、时域 H 以及函数类的覆盖数的项，加上 ε 的 Lipschitz 项。
• 下界表明，在没有合适条件的情况下，任何策略在最坏情形的有限设置中都可能产生 Ω(sqrt(D M H)) 的差距。
• 记忆（历史依赖）对于实现子线性差距至关重要，域随机化中不能被忽视。
• 本文提出了首个可证明高效的基于模型的算法，用于在带一般函数近似的无限-horizon 平均奖励 MDP 中学习，达到接近最优的后悔界。