[论文解读] PEORL: Integrating Symbolic Planning and Hierarchical Reinforcement Learning for Robust Decision-Making

Fangkai Yang, Daoming Lyu+2 more|arXiv (Cornell University)|Apr 20, 2018

Reinforcement Learning in Robotics参考文献 19被引用 19

一句话总结

该论文提出PEORL框架，将符号规划与分层强化学习（HRL）相结合，以实现在不确定环境中的鲁棒决策。通过迭代地利用符号规划引导HRL的已学习选项，并将经验反馈以优化规划，PEORL加速了策略学习并提升了规划的鲁棒性，在Taxi和Gridworld基准测试中均优于独立的RL、HRL和规划智能体，实现了更高的累积奖励和更少的执行失败。

ABSTRACT

Reinforcement learning and symbolic planning have both been used to build intelligent autonomous agents. Reinforcement learning relies on learning from interactions with real world, which often requires an unfeasibly large amount of experience. Symbolic planning relies on manually crafted symbolic knowledge, which may not be robust to domain uncertainties and changes. In this paper we present a unified framework {\em PEORL} that integrates symbolic planning with hierarchical reinforcement learning (HRL) to cope with decision-making in a dynamic environment with uncertainties. Symbolic plans are used to guide the agent's task execution and learning, and the learned experience is fed back to symbolic knowledge to improve planning. This method leads to rapid policy search and robust symbolic plans in complex domains. The framework is tested on benchmark domains of HRL.

研究动机与目标

• 解决纯强化学习（RL）所需海量经验的问题，以及符号规划在面对领域不确定性时缺乏鲁棒性的问题。
• 通过利用强化学习的经验，动态改进静态符号规划，克服其局限性。
• 通过符号规划实现HRL中选项的自动发现，而非依赖预定义或启发式选项。
• 通过整合强化学习所学知识，提升符号规划的鲁棒性，特别是在处理执行失败和领域细节不确定性方面。
• 建立符号规划与HRL之间的双向反馈回路，以同时提升策略性能与规划质量。

提出的方法

• 该框架使用动作语言 ${\cal BC}$ 表示动作与约束的常识知识，实现对领域动态的正式建模。
• 通过约束答案集求解器（Clingcon）从初始状态和目标生成符号规划，随后将其映射为HRL的确定性随机选项序列。
• 采用分层R-学习，优化两个目标：平均调整奖励 $R$ 和累积平均奖励（收益奖励）$\rho$，以指导策略学习。
• 收益奖励 $\rho$ 用作反馈信号，通过Clingcon改进符号规划，实现通过迭代优化发现更高质量的规划。
• 该过程为迭代式：改进后的符号规划生成新选项，进一步引导强化学习，直至无法发现更优规划为止。
• 该框架支持动态适应，允许基于学习经验涌现出新选项与新规划，避免依赖预设选项。

实验结果

研究问题

• RQ1 符号规划能否用于引导分层强化学习，以加速复杂环境中策略搜索？
• RQ2 强化学习的反馈能否在存在领域不确定性与执行失败的情况下，提升符号规划的鲁棒性与质量？
• RQ3 符号规划能否用于自动发现HRL中的有意义选项，而非依赖人工编码或启发式选项？
• RQ4 与独立的RL或规划智能体相比，规划与学习的双向集成如何影响累积奖励与规划可靠性？
• RQ5 从强化学习中获得的经验在多大程度上可用于优化符号知识，生成能避免高成本失败或利用隐藏奖励的规划？

主要发现

• 在Taxi领域，PEORL智能体发现了能带来额外奖励的状态（4,4），而RL智能体与规划智能体均未发现，从而实现了显著更高的累积奖励。
• 在累积奖励方面，PEORL智能体优于RL智能体与HRL智能体，且收敛更快，学习曲线方差更低。
• 在Gridworld领域，PEORL智能体通过可靠规避障碍物并成功执行推动动作，实现了最优行为，其奖励与一致性均优于RL智能体。
• PEORL智能体通过利用学习知识提升规划鲁棒性，显著降低了执行失败率；而仅依赖规划的智能体（P-agent）因缺乏学习能力，失败率极高。
• 符号规划与R-学习之间的迭代反馈回路，使系统能够发现初始符号知识中未包含的新高价值状态与动作，增强了适应能力。
• 该框架表明，通过R-学习将符号规划与HRL集成，可实现更鲁棒、更高效的决策，尤其在存在隐藏奖励与不确定动态的领域中表现更优。