[论文解读] Reinforcement Learning Based Temporal Logic Control with Soft Constraints Using Limit-deterministic Generalized Buchi Automata

Mingyu Cai, Shaoping Xiao+2 more|arXiv (Cornell University)|Jan 25, 2021

Reinforcement Learning in Robotics参考文献 35被引用 5

一句话总结

该论文提出了一种无模型强化学习框架，利用极限确定性广义Büchi自动机（LDGBA）在不确定环境中合成机器人运动规划的控制策略，实现对不可行线性时序逻辑（LTL）规范的部分满足。通过引入松弛化产品MDP和优先考虑接受条件满足并最小化长期违反成本的效用函数，该方法即使在不存在接受性最大端组件（AMEC）的情况下，也能保证收敛到最大化接受性并减少约束违反的策略。

ABSTRACT

This paper studies the control synthesis of motion planning subject to uncertainties. The uncertainties are considered in robot motions and environment properties, giving rise to the probabilistic labeled Markov decision process (PL-MDP). A Model-Free Reinforcement The learning (RL) method is developed to generate a finite-memory control policy to satisfy high-level tasks expressed in linear temporal logic (LTL) formulas. Due to uncertainties and potentially conflicting tasks, this work focuses on infeasible LTL specifications, where a relaxed LTL constraint is developed to allow the agent to revise its motion plan and take violations of original tasks into account for partial satisfaction. And a novel automaton is developed to improve the density of accepting rewards and enable deterministic policies. We proposed an RL framework with rigorous analysis that is guaranteed to achieve multiple objectives in decreasing order: 1) satisfying the acceptance condition of relaxed product MDP and 2) reducing the violation cost over long-term behaviors. We provide simulation and experimental results to validate the performance.

研究动机与目标

• 为解决机器人动力学和环境特性不确定性下的运动规划挑战，建模为概率标记的马尔可夫决策过程（PL-MDP）。
• 在传统接受条件满足因环境约束或概率禁止而不可能的情况下，实现对不可行LTL规范的控制合成。
• 开发一种强化学习框架，优先考虑两个目标：(1) 满足松弛化产品MDP的接受条件，(2) 最小化长期违反成本。
• 克服现有强化学习方法对接受性最大端组件（AMEC）存在的依赖，而这类组件在不确定环境中可能不存在。
• 通过一种新型自动机构造——E-LDGBA，提升奖励密度并实现确定性策略，同时不增加计算复杂度。

提出的方法

• 论文引入松弛化产品MDP，通过允许部分满足来处理不可行的LTL规范，用修改后的结构替代标准产品MDP，以容纳约束松弛。
• 采用极限确定性广义Büchi自动机（LDGBA）而非确定性Rabin自动机（DRA），以减小自动机规模并提升可扩展性，尤其适用于复杂LTL公式。
• 设计了一种新型扩展LDGBA（E-LDGBA），可显式追踪LDGBA中未被访问的接受集，从而在强化学习过程中实现更有效的奖励塑造。
• 构建效用函数，通过奖励访问接受集和惩罚违反行为，优先考虑长期LTL任务的接受性，采用分层目标：首先满足接受条件，然后最小化违反成本。
• 采用无模型强化学习框架，并结合同步前沿函数进行奖励设计，确保智能体学习到在松弛化规范下最大化期望效用的策略。
• 理论分析证明，所提出的框架即使在AMEC不存在的情况下，也能保证收敛到满足松弛化产品MDP接受条件并最小化长期违反成本的策略。

实验结果

研究问题

• RQ1 能否设计一种强化学习框架，用于在产品MDP中不存在接受性最大端组件（AMEC）的情况下，合成不确定环境下机器人运动规划的控制策略？
• RQ2 如何以系统化方式松弛LTL规范，使在环境约束导致完全满足概率上不可行时，仍可实现部分满足？
• RQ3 能否利用极限确定性广义Büchi自动机（LDGBA）提升强化学习中奖励密度并实现确定性策略，以支持时序逻辑任务的基于强化学习的控制合成？
• RQ4 何种奖励塑造机制可确保强化学习智能体优先满足松弛化产品MDP的接受条件，再最小化违反成本？
• RQ5 该框架如何保证收敛到在不确定环境中最优平衡接受条件满足与长期违反最小化的策略？

主要发现

• 所提出的强化学习框架即使在标准产品MDP中不存在接受性最大端组件（AMEC）的情况下，也能保证收敛到满足松弛化产品MDP接受条件的策略。
• 通过使用E-LDGBA追踪未访问的接受集，显著提升了奖励密度和策略确定性，从而实现更有效且有针对性的奖励信号。
• 理论分析确认，所学策略的期望效用高于任何未能满足接受条件的策略，即使在瞬态状态阶段也成立。
• 仿真与实验结果验证了该框架在不确定性下生成部分满足复杂LTL任务策略的能力，且随时间推移违反成本显著降低。
• 与DRA相比，使用LDGBA可减小自动机规模和计算复杂度，从而实现复杂LTL公式的可扩展合成。
• 该框架成功处理了传统强化学习方法因AMEC缺失而失效的情况，展示了在概率上禁止环境中的鲁棒性。