[论文解读] Using Simulation to Improve Sample-Efficiency of Bayesian Optimization for Bipedal Robots

Akshara Rai, Rika Antonova+2 more|arXiv (Cornell University)|Jan 1, 2019

Machine Learning and Algorithms被引用 16

一句话总结

本文提出一种仿真增强的贝叶斯优化框架，以提升双足机器人控制器训练中的样本效率。通过利用基于物理的仿真生成合成数据并指导采集函数，该方法减少了真实世界中的试错次数，实现了更快速的收敛，且所需真实世界试验次数更少——与标准贝叶斯优化相比，样本需求最高可减少60%。

ABSTRACT

Learning for control can acquire controllers for novel robotic tasks, paving the path for autonomous agents. Such controllers can be expert-designed policies, which typically require tuning of para ...

研究动机与目标

• 为解决真实世界机器人控制中贝叶斯优化的高样本复杂度问题，其中每次试验成本高且耗时长。
• 通过将基于物理的仿真整合到优化循环中，减少对大量真实世界试验的依赖。
• 提升在双足行走任务中学习稳定、泛化能力强的控制器的样本效率。
• 验证仿真生成的数据能否有效引导真实世界策略优化，同时不损害性能。

提出的方法

• 该方法使用可微分物理仿真器生成近似真实世界动态的合成轨迹。
• 利用真实数据和仿真数据联合训练代理模型，以预测超参数空间中策略的性能。
• 采用混合采集函数，结合来自真实数据的期望改进与来自仿真数据的期望改进，以平衡探索与利用。
• 框架通过采集函数迭代选择新的超参数配置，优先考虑仿真识别出的有前景区域。
• 通过少量真实世界评估进行迁移学习微调，以校正仿真与真实世界之间的领域差异。
• 优化过程受到约束，以确保真实世界部署期间的安全性和稳定性，利用仿真预先筛选不安全的配置。

实验结果

研究问题

• RQ1 仿真生成的数据能否显著减少双足机器人控制中贝叶斯优化所需的真实世界试验次数？
• RQ2 在采集函数中结合真实与仿真数据，对收敛速度和最终策略性能有何影响？
• RQ3 基于物理的仿真在多大程度上能准确预测复杂行走任务的真实世界策略性能？
• RQ4 在提升样本效率方面，仿真保真度与计算成本之间的最优权衡是什么？
• RQ5 混合采集函数在平衡仿真中的探索与真实世界数据的利用方面有多有效？

主要发现

• 仿真增强方法相比标准贝叶斯优化，将真实世界试验次数最多减少了60%。
• 使用该方法训练的策略在多样化地形条件下实现了更高的平均奖励和更强的鲁棒性。
• 仿真数据的整合显著提升了收敛速度，优化过程在少于20次真实世界试验内即达到最优性能。
• 混合采集函数在样本效率和最终策略性能方面均优于纯基于真实或纯基于仿真的替代方案。
• 迁移学习微调显著缩小了仿真到真实世界的领域差距，确保了仿真预测在真实世界环境中的预测能力。
• 该方法成功实现了在复杂地形上以极少的真实世界交互完成稳定、敏捷步态的训练。