[论文解读] Value constrained model-free continuous control

Steven Bohez, Abbas Abdolmaleki+4 more|arXiv (Cornell University)|Feb 12, 2019

Reinforcement Learning in Robotics参考文献 20被引用 30

一句话总结

该论文提出了一种基于约束的强化学习方法，利用拉格朗日松弛法在连续控制中自动平衡任务奖励与辅助成本（如控制努力或能耗）。通过与策略和价值函数一起端到端学习状态相关的拉格朗日乘子，该方法实现实时约束满足，从而生成平滑、高效的策略，且无需手动调整超参数——在模拟和真实机器人任务中成功验证，包括四足行走和具备可视性约束的真实机械臂抓取任务。

ABSTRACT

The naive application of Reinforcement Learning algorithms to continuous control problems -- such as locomotion and manipulation -- often results in policies which rely on high-amplitude, high-frequency control signals, known colloquially as bang-bang control. Although such solutions may indeed maximize task reward, they can be unsuitable for real world systems. Bang-bang control may lead to increased wear and tear or energy consumption, and tends to excite undesired second-order dynamics. To counteract this issue, multi-objective optimization can be used to simultaneously optimize both the reward and some auxiliary cost that discourages undesired (e.g. high-amplitude) control. In principle, such an approach can yield the sought after, smooth, control policies. It can, however, be hard to find the correct trade-off between cost and return that results in the desired behavior. In this paper we propose a new constraint-based reinforcement learning approach that ensures task success while minimizing one or more auxiliary costs (such as control effort). We employ Lagrangian relaxation to learn both (a) the parameters of a control policy that satisfies the desired constraints and (b) the Lagrangian multipliers for the optimization. Moreover, we demonstrate that we can satisfy constraints either in expectation or in a per-step fashion, and can even learn a single policy that is able to dynamically trade-off between return and cost. We demonstrate the efficacy of our approach using a number of continuous control benchmark tasks, a realistic, energy-optimized quadruped locomotion task, as well as a reaching task on a real robot arm.

研究动机与目标

• 解决无模型连续控制中的bang-bang控制问题，该问题导致高频、高幅值的动作，不适合实际系统。
• 克服多目标强化学习中手动调整奖励与成本比率的困难，后者通常需要大量超参数搜索。
• 通过基于约束的优化，实现任务性能与辅助成本（如能耗、控制努力）之间自动、自适应的权衡。
• 将方法推广至动态、与状态相关的成本权衡及多任务场景，使单一策略能够适应不同的性能-成本优先级。
• 在复杂基准测试中验证该方法，包括一个逼真的四足行走任务和一个具有可视性约束的真实机械臂抓取任务。

提出的方法

• 该方法将连续控制表述为约束优化问题，通过拉格朗日松弛法在确保最低任务成功率的同时最小化辅助成本。
• 引入与状态相关的拉格朗日乘子，与策略和价值函数一起通过结构化评论网络端到端学习。
• 评论模型联合估计每个状态的回报、成本值和拉格朗日乘子，从而实现实时的每步约束强制执行。
• 该方法支持基于期望值的约束和每步（逐点）约束，允许对瞬时行为实施更紧密的控制。
• 通过将策略和乘子条件化于任务目标，该方法可推广至多任务场景，实现在不同任务和成本水平下的动态权衡。
• 该方法兼容任何基于值函数的无模型强化学习算法，可同时应用于多个约束。

实验结果

研究问题

• RQ1 基于约束的强化学习方法是否能自动平衡任务奖励与控制成本，而无需手动调整超参数？
• RQ2 与基于期望值的方法相比，基于状态的拉格朗日乘子是否能实现更紧密、逐点的约束强制执行？
• RQ3 该方法能否学习到一个单一策略，实现在不同任务目标或成本水平下对性能与成本的动态权衡？
• RQ4 该方法是否能降低控制努力并提升实际机器人控制中的鲁棒性，例如在节能行走或可视性受限的操作中？
• RQ5 该方法能否成功应用于具有非平凡约束的复杂真实机器人任务，例如在抓取过程中保持视觉可见性？

主要发现

• 该方法成功减少了连续控制任务中的高频、高幅值控制信号（即bang-bang控制），生成了更平滑、更符合实际的策略。
• 在模拟的四足行走任务中，与使用固定惩罚系数的基线方法相比，该方法实现了更低的电能消耗和更小的速度超调。
• 在真实的Sawyer机械臂上，策略学习到在整个抓取任务过程中保持目标标签至少95%的可视性，且约束在实时中得到满足。
• 学习过程最初集中于满足可视性约束，一旦约束被满足，便转向优化抓取奖励，展示了有效的多目标平衡。
• 在训练过程中，回报与成本权重的比率动态调整，约束满足后，策略的80%注意力集中在抓取，20%集中在可视性。
• 该方法在不同约束下限的情况下具有泛化能力，使单一策略能够适应不同的性能-成本权衡。