[论文解读] Reinforcement Learning With Temporal Logic Rewards

Xiao Li, Cristian-Ioan Vasile+1 more|arXiv (Cornell University)|Dec 11, 2016

Formal Methods in Verification参考文献 15被引用 4

一句话总结

本文提出在强化学习中使用截断线性时序逻辑（TLTL）结合鲁棒度作为奖励函数，以实现对复杂、具有时序结构的机器人任务的更快、更可靠的训练。通过形式化地编码领域知识和约束，该方法在收敛速度和策略质量方面均优于启发式奖励，在仿真环境和Baxter机器人上的吐司机任务中实现了100%的成功率。

ABSTRACT

Reinforcement learning (RL) depends critically on the choice of reward functions used to capture the de- sired behavior and constraints of a robot. Usually, these are handcrafted by a expert designer and represent heuristics for relatively simple tasks. Real world applications typically involve more complex tasks with rich temporal and logical structure. In this paper we take advantage of the expressive power of temporal logic (TL) to specify complex rules the robot should follow, and incorporate domain knowledge into learning. We propose Truncated Linear Temporal Logic (TLTL) as specifications language, that is arguably well suited for the robotics applications, together with quantitative semantics, i.e., robustness degree. We propose a RL approach to learn tasks expressed as TLTL formulae that uses their associated robustness degree as reward functions, instead of the manually crafted heuristics trying to capture the same specifications. We show in simulated trials that learning is faster and policies obtained using the proposed approach outperform the ones learned using heuristic rewards in terms of the robustness degree, i.e., how well the tasks are satisfied. Furthermore, we demonstrate the proposed RL approach in a toast-placing task learned by a Baxter robot.

研究动机与目标

• 解决为具有丰富时序和逻辑结构的复杂机器人任务设计有效奖励函数的挑战。
• 通过捕捉任务意图和安全要求的规范语言，将领域知识和形式化约束融入强化学习。
• 通过用源自时序逻辑规范的鲁棒度替代启发式奖励，提升学习效率和策略质量。
• 在仿真环境和真实世界机器人操作任务中，证明基于TLTL的奖励的可行性和优越性。

提出的方法

• 提出截断线性时序逻辑（TLTL）作为适用于具有有限时间轨迹和时序依赖性的机器人任务的规范语言。
• 定义一种称为鲁棒度的定量语义，将TLTL公式映射为实值奖励函数。
• 在策略搜索强化学习中使用鲁棒度作为主要奖励信号，替代手工设计的启发式奖励。
• 在仿真和真实机器人实验中，应用基于回合的REPS和基于步长的策略搜索算法，使用TLTL奖励训练策略。
• 将任务规范分层分解为子公式，通过嵌套的最小/最大运算计算鲁棒度，以识别每个时间步的活跃约束。
• 手动对鲁棒度值进行归一化，以防止不同子任务间学习焦点的失衡。

实验结果

研究问题

• RQ1 具有定量语义的时序逻辑规范能否提升复杂机器人任务中强化学习的样本效率？
• RQ2 与启发式奖励函数相比，基于TLTL鲁棒度奖励的学习在收敛速度和最终策略质量方面表现如何？
• RQ3 非分层的强化学习算法在TLTL奖励引导下能否成功学习到具有时序结构的任务？
• RQ4 在真实世界机器人操作中，鲁棒度在多大程度上可作为任务满足度的有意义代理？

主要发现

• 使用基于TLTL的奖励训练的策略在Baxter机器人的吐司机任务中实现了100%的成功率，而使用启发式奖励训练的策略未能学习到正确的夹爪时序策略。
• 在仿真环境和真实世界环境中，基于TLTL奖励的学习收敛速度显著更快，且生成的策略质量更高。
• 鲁棒度奖励函数有效聚焦于每个时间步的活跃约束，通过优先处理瓶颈子任务，提升了整体学习进度。
• 即使使用效率较低的基于回合的强化学习算法，基于TLTL的方法仍优于离散和连续的启发式奖励函数。
• 手动归一化鲁棒度值是必要的，以防止不同子任务间学习失衡，表明未来工作需引入自适应归一化机制。