[论文解读] OptLayer - Practical Constrained Optimization for Deep Reinforcement Learning in the Real World

Tu-Hoa Pham, Giovanni De Magistris+1 more|arXiv (Cornell University)|Sep 22, 2017

Reinforcement Learning in Robotics参考文献 13被引用 11

一句话总结

OptLayer 引入了一种可微分的约束优化层，将不安全的神经网络预测转换为可行且安全的机器人动作，从而实现在现实世界中安全的深度强化学习。通过将 OptLayer 与 TRPO 结合，该方法实现了更快、更安全的训练——与无约束学习相比，所需 episode 数量最多减少 38%，同时在仿真和真实世界机器人操作任务中保证了碰撞避免。

ABSTRACT

While deep reinforcement learning techniques have recently produced considerable achievements on many decision-making problems, their use in robotics has largely been limited to simulated worlds or restricted motions, since unconstrained trial-and-error interactions in the real world can have undesirable consequences for the robot or its environment. To overcome such limitations, we propose a novel reinforcement learning architecture, OptLayer, that takes as inputs possibly unsafe actions predicted by a neural network and outputs the closest actions that satisfy chosen constraints. While learning control policies often requires carefully crafted rewards and penalties while exploring the range of possible actions, OptLayer ensures that only safe actions are actually executed and unsafe predictions are penalized during training. We demonstrate the effectiveness of our approach on robot reaching tasks, both simulated and in the real world.

研究动机与目标

• 解决现实世界机器人深度强化学习中不安全探索与执行的关键挑战。
• 在不依赖专家演示或奖励塑形的情况下，实现显式安全约束下的神经网络策略端到端训练。
• 通过高效利用训练过程中的不安全预测，同时确保仅执行安全动作，从而加速学习。
• 证明在真实工业机器人上直接端到端学习复杂 3D 抓取与避障策略的可行性。

提出的方法

• 提出 OptLayer，一种可微分优化层，将无约束的神经网络动作映射到满足用户定义约束的最近可行动作。
• 采用约束优化公式，将动作投影到由安全约束（如碰撞避免或关节限位）定义的可行集合上。
• 采用两阶段训练策略：首先使用原始不安全预测更新策略，然后使用约束动作进行精炼，提升样本效率。
• 将 OptLayer 与信任区域策略优化（TRPO）集成，实现通过约束层的端到端反向传播。
• 设计一种奖励策略，在训练期间惩罚不安全预测，同时确保推理阶段仅执行安全动作。
• 将该方法应用于具有静态和动态障碍物的 3D 机器人抓取任务，涵盖仿真环境和真实工业机械臂。

实验结果

研究问题

• RQ1 可微分的约束优化层能否有效集成到深度强化学习中，以确保现实世界机器人中的安全动作执行？
• RQ2 与无约束或基于惩罚的方法相比，OptLayer 在安全约束强化学习中如何提升样本效率和训练速度？
• RQ3 在不重新训练的情况下，使用 OptLayer 训练的策略在未见环境变化（如移动障碍物或目标）下的泛化能力如何？
• RQ4 OptLayer 是否能够实现在真实世界中从零开始端到端训练控制策略，而无需专家演示或大量仿真？

主要发现

• 与无约束策略学习相比，OptLayer 将达到 700 平均回报所需的 episode 数量减少了 38%（3250 个 vs. 5350 个）。
• 该方法在工业机械臂上成功实现了 3D 抓取与避障的现实世界执行，连续 6 小时训练过程中始终保持安全。
• 使用 CPC（约束策略修正）学习的约束策略可泛化至未见场景，如移动目标和障碍物，且无需重新训练。
• 尽管每步推理增加 4 ms 的开销，但由于探索效率更高且失败率更低，OptLayer 仍实现了更快的整体训练速度。
• 系统成功避免了与静态和动态障碍物的碰撞，包括气球和蛋糕，展示了对环境变化的鲁棒性。
• OptLayer 允许在真实世界中安全、自主地学习位置控制策略，即使在需要物理交互或力控制的任务中亦可实现。