[论文解读] Safety Augmented Value Estimation from Demonstrations (SAVED): Safe Deep Model-Based RL for Sparse Cost Robotic Tasks

Brijen Thananjeyan, Ashwin Balakrishna+7 more|arXiv (Cornell University)|May 31, 2019

Reinforcement Learning in Robotics参考文献 52被引用 8

一句话总结

SAVED 是一种基于深度模型的强化学习算法，通过利用次优示范和概率约束执行，实现了在稀疏奖励和复杂约束条件下安全、样本高效的机器人任务学习。它在真实世界的外科打结任务中，一小时内成功率超过75%，在成功率、约束满足度和样本效率方面均优于最先进基线方法。

ABSTRACT

Reinforcement learning (RL) for robotics is challenging due to the difficulty in hand-engineering a dense cost function, which can lead to unintended behavior, and dynamical uncertainty, which makes exploration and constraint satisfaction challenging. We address these issues with a new model-based reinforcement learning algorithm, Safety Augmented Value Estimation from Demonstrations (SAVED), which uses supervision that only identifies task completion and a modest set of suboptimal demonstrations to constrain exploration and learn efficiently while handling complex constraints. We then compare SAVED with 3 state-of-the-art model-based and model-free RL algorithms on 6 standard simulation benchmarks involving navigation and manipulation and a physical knot-tying task on the da Vinci surgical robot. Results suggest that SAVED outperforms prior methods in terms of success rate, constraint satisfaction, and sample efficiency, making it feasible to safely learn a control policy directly on a real robot in less than an hour. For tasks on the robot, baselines succeed less than 5% of the time while SAVED has a success rate of over 75% in the first 50 training iterations. Code and supplementary material is available at https://tinyurl.com/saved-rl.

研究动机与目标

• 解决在稀疏奖励信号和复杂约束条件下，训练安全、样本高效策略的挑战。
• 减少对难以设计且可能导致非预期行为的手动工程密集成本函数的依赖。
• 实现在真实机器人上的高效且安全的策略学习，特别是在数据采集受限、安全性要求高的领域如外科手术中。
• 通过示范作为信号，将探索限制在代理对任务完成具有信心的区域，从而改善探索效率。
• 利用模型不确定性估计，鲁棒地执行非凸状态空间约束，以应对动力学不确定性。

提出的方法

• SAVED 使用少量次优示范，在稀疏成本环境中提供延迟奖励信号，替代密集的手动工程成本函数。
• 它引入了一种安全增强的价值估计机制，基于示范质量，将探索限制在代理对任务完成具有信心的区域。
• 该方法利用学习到的动力学模型的不确定性估计，实施概率机会约束，从而在模型不确定性下实现鲁棒的约束满足。
• 它采用模型预测控制（MPC）框架，并结合交叉熵方法（CEM）优化，以在每一步求解约束规划问题。
• 该算法通过从经验中学习动力学模型，并结合示范监督与约束感知规划，迭代改进策略。
• 它采用约束的概率公式化方法，能够在保持探索安全性的同时，处理非凸、复杂的状态空间约束。

实验结果

研究问题

• RQ1 一种基于深度模型的强化学习算法是否能够在不依赖密集手动工程成本函数的情况下，在稀疏奖励和复杂约束环境中实现高效且安全的学习？
• RQ2 如何有效利用次优示范来引导探索并提升稀疏奖励机器人任务中的样本效率？
• RQ3 利用模型不确定性进行概率约束执行，是否能提升高维、动力学不确定机器人系统中的约束满足度？
• RQ4 此类方法在数据采集时间有限且安全性要求高的真实机器人上，能多大程度上实现直接应用？
• RQ5 与标准的无模型或基于模型的基线方法相比，将示范引导的任务完成置信度整合进来，如何改善策略学习？

主要发现

• 在物理 da Vinci 外科手术机器人上，SAVED 在 50 次训练迭代内实现了超过 75% 的成功率，而基线方法在少于 5% 的试验中成功。
• 打结任务的策略学习将平均迭代成本从示范中的 34.4 降低至 21.9，最大成本为 25，表明性能显著提升。
• 在六个模拟基准测试中，SAVED 在成功率和约束满足度方面均优于三种最先进无模型和基于模型的强化学习基线方法。
• 在真实机器人上直接训练 SAVED 仅耗时约一小时完成 50 次迭代，证明了其在现实世界部署中的实际可行性。
• PETSfD 虽保持了较高的约束满足度，但未能实现任务成功；而 SACfD 频繁违反约束且从未成功，凸显了 SAVED 在安全与性能之间更优的平衡。
• 该方法实现了稳定的执行，SAVED 在训练后 20 次试验中全部成功打结，展示了高度的可靠性和鲁棒性。