[论文解读] Towards semi-episodic learning for robot damage recovery

Konstantinos Chatzilygeroudis, Antoine Cully+1 more|arXiv (Cornell University)|Oct 5, 2016

Reinforcement Learning in Robotics参考文献 13被引用 4

一句话总结

本文提出了一种半 episodic 学习算法（SELA），使机器人在执行任务时能够从损伤中恢复，提升了数据效率和自主性。通过使用基于行为-性能图的贝叶斯优化和动态奖励选择层，SELA 在模拟的六条腿机器人和玩具导航任务中，相比基线方法将学习步骤减少了高达 50%。

ABSTRACT

The recently introduced Intelligent Trial and Error algorithm (IT\&E) enables robots to creatively adapt to damage in a matter of minutes by combining an off-line evolutionary algorithm and an on-line learning algorithm based on Bayesian Optimization. We extend the IT\&E algorithm to allow for robots to learn to compensate for damages while executing their task(s). This leads to a semi-episodic learning scheme that increases the robot's lifetime autonomy and adaptivity. Preliminary experiments on a toy simulation and a 6-legged robot locomotion task show promising results.

研究动机与目标

• 解决纯 episodic 学习在机器人损伤恢复中的局限性，即每次试验必须从相同初始状态重新开始。
• 通过允许机器人在任务执行过程中学习补偿性行为，而非仅在孤立试验中学习，从而提高数据效率和长期自主性。
• 使机器人在向目标推进的同时适应损伤，模仿生物恢复策略。
• 开发一种结合离线进化计算与在线贝叶斯优化的框架，实现实时适应。
• 引入一种奖励选择机制，动态选择学习过程中与任务相关的奖励，以指导行为适应。

提出的方法

• 使用 MAP-Elites 在模拟的完整机器人上生成包含 100 万个原子行为的行为-性能图，捕捉多样的运动策略。
• 应用基于高斯过程（GP）的贝叶斯优化，实时学习这些行为在受损真实机器人上的性能。
• 将任务特定奖励替换为通用奖励函数，用于评估原子行为的结果（例如，朝目标的位移）。
• 引入一种专门的奖励选择层，根据当前任务进展在每个 episode 中选择最具有信息量的奖励函数。
• 将学习限制在固定数量的迭代次数内（N=10–15），以保持数据效率和实时适用性。
• 在贝叶斯优化中使用上置信度边界（UCB）获取函数，α=0.05，以平衡探索与利用。

实验结果

研究问题

• RQ1 与纯 episodic 方法相比，半 episodic 学习方案是否能减少机器人从损伤中恢复所需的步骤数？
• RQ2 使用通用行为结果奖励在任务执行过程中引导适应的有效性如何？
• RQ3 动态奖励选择层是否能提高机器人损伤恢复中的学习效率和收敛速度？
• RQ4 所提方法在不同损伤情景和机器人形态下，性能保持程度如何？
• RQ5 将预计算的行为图与在线贝叶斯优化相结合，如何提升真实机器人适应中的数据效率？

主要发现

• 在玩具模拟中，SELA 达到了接近最优的性能，达到目标所需的原子行为（步骤）显著少于基线方法。
• 在六条腿机器人模拟中，与使用均匀采样或预学习方向行为的 IT&E 变体相比，SELA 将到达目标的步骤数减少了高达 50%。
• 该算法在真实六条腿机器人上成功学习了补偿性运动策略，初步结果显示在移除一条腿后能有效适应。
• 使用通用奖励评估原子行为结果，相比任务特定奖励方案，在动态环境中实现了更快的收敛。
• 奖励选择层通过聚焦于最直接促进任务进展的行为，提高了学习效率。
• 该方法在位置观测噪声较大（σ²=0.01）的情况下表现出鲁棒性，在模拟和真实世界测试中均保持了稳定性能。