[论文解读] Safety-Aware Robot Damage Recovery Using Constrained Bayesian Optimization and Simulated Priors

Vaios Papaspyros, Konstantinos Chatzilygeroudis+2 more|arXiv (Cornell University)|Nov 28, 2016

Gaussian Processes and Bayesian Inference参考文献 13被引用 6

一句话总结

该论文提出了一种面向机器人损伤恢复的安全感知扩展方法，即在智能试错（IT&E）算法中引入约束贝叶斯优化与模拟先验，以最小化不安全试错次数。通过将安全约束整合到获取函数中，并利用仿真生成的预计算行为-性能映射，该方法实现了更快、更安全的适应性调整——在受损iCub人形机器人上进行了验证，将不安全试错次数减少至14次以下，且在安全性能方面优于标准IT&E和多目标IT&E。

ABSTRACT

The recently introduced Intelligent Trial-and-Error (IT&E) algorithm showed that robots can adapt to damage in a matter of a few trials. The success of this algorithm relies on two components: prior knowledge acquired through simulation with an intact robot, and Bayesian optimization (BO) that operates on-line, on the damaged robot. While IT&E leads to fast damage recovery, it does not incorporate any safety constraints that prevent the robot from attempting harmful behaviors. In this work, we address this limitation by replacing the BO component with a constrained BO procedure. We evaluate our approach on a simulated damaged humanoid robot that needs to crawl as fast as possible, while performing as few unsafe trials as possible. We compare our new "safety-aware IT&E" algorithm to IT&E and a multi-objective version of IT&E in which the safety constraints are dealt as separate objectives. Our results show that our algorithm outperforms the other approaches, both in crawling speed within the safe regions and number of unsafe trials.

研究动机与目标

• 解决现有机器人损伤恢复算法（如IT&E）缺乏安全约束的问题，避免试错学习过程中产生有害行为。
• 通过将安全约束融入贝叶斯优化过程，实现在数据高效的前提下对受损机器人进行安全适应。
• 通过完整机器人仿真自动生成控制器安全性的先验分布，降低对人工初始化安全参数集的依赖。
• 在模拟的受损人形机器人上，针对多种故障模式下的爬行任务，评估该方法的性能。
• 在安全性、性能和样本效率方面，将所提的安全感知方法与标准IT&E及多目标IT&E进行对比。

提出的方法

• 在仿真中使用MAP-Elites生成完整机器人多样化的低维行为-性能映射，其中行为描述符包含接触力作为安全维度。
• 应用约束贝叶斯优化（CBO）选择在受损机器人上测试的下一个行为，以在尊重接触力安全约束的前提下最大化期望改进。
• 获取函数基于行为映射计算，使用真实世界中测得的爬行速度和接触力数据更新高斯过程模型。
• 安全先验来自仿真数据，用于在部署前估计不安全行为的概率，从而减少对初始安全参数集的依赖。
• 算法为目标函数（爬行速度）和每个安全约束（如接触力总和）分别维护独立的高斯过程模型，实现安全探索。
• 通过选择在安全阈值之上具有最高期望改进的行为来求解约束优化，确保仅评估安全候选行为。

实验结果

研究问题

• RQ1 约束贝叶斯优化是否能在不牺牲数据效率的前提下提升机器人损伤恢复过程中的安全性？
• RQ2 将模拟先验用于安全建模，能在多大程度上提升昂贵机器人平台损伤恢复的鲁棒性与可靠性？
• RQ3 与标准IT&E和多目标IT&E相比，所提出的感知安全IT&E在多大程度上减少了不安全试错次数？
• RQ4 在不同损伤配置下，最佳安全步态的性能表现如何？
• RQ5 安全约束能否在实时、在线策略的适应性框架中被有效建模与优化，适用于人形机器人？

主要发现

• sIT&E算法在所有损伤条件下每轮运行的不安全试错次数显著减少，低于14次，而标准IT&E为29次，MO-IT&E超过22次。
• 在除一种损伤场景外的所有情况下，sIT&E在最佳安全爬行速度方面均显著优于IT&E和MO-IT&E（p < 0.001），且具有统计学显著性。
• 在所有损伤条件下，sIT&E始终能稳定找到高性能且安全的步态，机械损伤风险极低。
• 与IT&E相比，该方法将不安全试错次数减少超过50%；与MO-IT&E相比，减少超过35%，展现出更优的安全效率。
• 利用模拟先验实现了有效的安全感知探索，无需初始安全参数集，使该方法可适用于未知损伤场景。
• 在四个独立生成的行为映射及每种条件20轮运行中，结果保持一致，证实了方法的鲁棒性与可靠性。