[论文解读] Towards an Interpretable Hierarchical Agent Framework using Semantic Goals

Bharat Prakash, Nicholas R. Waytowich+2 more|arXiv (Cornell University)|Oct 16, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种分层强化学习框架，结合符号规划器进行高层任务分解，以及基于可解释语义目标（由空间和触觉谓词定义）的低层策略，实现了长时序机器人操作任务的样本高效学习。该框架在多个积木操作任务中优于密集奖励和稀疏奖励基线，所有评估环境中的任务成功率均达到100%，得益于改进的可解释性与人机协同适应性。

ABSTRACT

Learning to solve long horizon temporally extended tasks with reinforcement learning has been a challenge for several years now. We believe that it is important to leverage both the hierarchical structure of complex tasks and to use expert supervision whenever possible to solve such tasks. This work introduces an interpretable hierarchical agent framework by combining planning and semantic goal directed reinforcement learning. We assume access to certain spatial and haptic predicates and construct a simple and powerful semantic goal space. These semantic goal representations are more interpretable, making expert supervision and intervention easier. They also eliminate the need to write complex, dense reward functions thereby reducing human engineering effort. We evaluate our framework on a robotic block manipulation task and show that it performs better than other methods, including both sparse and dense reward functions. We also suggest some next steps and discuss how this framework makes interaction and collaboration with humans easier.

研究动机与目标

• 解决长时序强化学习在机器人操作中样本效率低下和可解释性差的挑战。
• 通过利用人类可理解的语义谓词，减少对复杂手工设计的密集奖励函数的依赖。
• 通过符号规划使高层计划和子目标可解释，从而支持人类干预与协作。
• 通过使用领域特定谓词对任务进行分层结构化，提升机器人控制的泛化能力与安全性。
• 通过模块化分层智能体架构，展示在复杂、时序扩展的操作任务中可行性与样本效率。

提出的方法

• 该框架使用符号STRIPS规划器作为高层策略，从初始状态和目标状态生成一系列子目标。
• 低层策略通过目标条件化的强化学习进行训练，目标由语义谓词（如'靠近'、'在...上方'、'抓取'、'在箱中'）指定。
• 语义目标表示从领域知识中提取的空间和触觉谓词构建，以简化目标指定并提升可解释性。
• 由于规划器输出具有符号性和可解释性，系统支持人类干预，包括子目标的添加或重新排序。
• 采用课程学习方法筛选子目标，提升训练稳定性和样本效率。
• 该框架在三个环境中进行评估：2积木、3积木和桌面清理任务，每个环境包含多个高层任务。

实验结果

研究问题

• RQ1 与密集奖励和稀疏奖励基线相比，使用语义目标表示的分层智能体框架是否能提升长时序机器人操作任务的样本效率？
• RQ2 使用可解释谓词的符号规划如何增强人类对任务规划过程的理解与干预能力？
• RQ3 该框架在无需复杂奖励设计的情况下，能在多大程度上泛化到多样化的操作任务中？
• RQ4 该框架能否通过将子任务分配给多个智能体或人类，支持协作式任务执行？
• RQ5 语义目标空间的可解释性在多大程度上影响策略行为与现实世界机器人任务中的安全性？

主要发现

• 所提出的框架在2积木、3积木和桌面清理环境中的全部八个高层任务中均实现了100%的任务成功率，优于所有基线方法。
• 平面语义基线在'移动积木分开'任务中成功，但学习到一种激进的策略，导致积木被撞下桌面；而所提方法则学习到更温和、更安全的策略。
• 所有基线方法（包括密集奖励函数）即使在500万次训练步后仍无法解决任务，表明基于语义目标的方法具有显著优势。
• 使用语义谓词消除了对密集奖励函数的需求，显著减少了人工工程工作量。
• 符号规划器使得计划易于人工检查与修改，促进了协作与干预。
• 该框架在复杂、时序扩展的任务中表现出鲁棒性和样本效率，表明其在现实世界部署中具有强大潜力。