[论文解读] Physically Embedded Planning Problems: New Challenges for Reinforcement Learning

Mehdi Mirza, Andrew Jaegle+10 more|arXiv (Cornell University)|Sep 11, 2020

Reinforcement Learning in Robotics参考文献 76被引用 6

一句话总结

本文通过在物理引擎中模拟经典棋盘游戏——推箱子（Sokoban）、井字棋（tic-tac-toe）和围棋（Go）——引入了物理嵌入式规划问题，要求智能体通过感知-运动控制来执行抽象的走法。尽管在抽象版本中表现良好，标准深度强化学习智能体在感知、长时程推理和运动控制的综合挑战下仍表现不佳，凸显了当前强化学习方法在抽象规划与具身控制之间存在的关键鸿沟，亟需新方法加以弥补。

ABSTRACT

Recent work in deep reinforcement learning (RL) has produced algorithms capable of mastering challenging games such as Go, chess, or shogi. In these works the RL agent directly observes the natural state of the game and controls that state directly with its actions. However, when humans play such games, they do not just reason about the moves but also interact with their physical environment. They understand the state of the game by looking at the physical board in front of them and modify it by manipulating pieces using touch and fine-grained motor control. Mastering complicated physical systems with abstract goals is a central challenge for artificial intelligence, but it remains out of reach for existing RL algorithms. To encourage progress towards this goal we introduce a set of physically embedded planning problems and make them publicly available. We embed challenging symbolic tasks (Sokoban, tic-tac-toe, and Go) in a physics engine to produce a set of tasks that require perception, reasoning, and motor control over long time horizons. Although existing RL algorithms can tackle the symbolic versions of these tasks, we find that they struggle to master even the simplest of their physically embedded counterparts. As a first step towards characterizing the space of solution to these tasks, we introduce a strong baseline that uses a pre-trained expert game player to provide hints in the abstract space to an RL agent's policy while training it on the full sensorimotor control task. The resulting agent solves many of the tasks, underlining the need for methods that bridge the gap between abstract planning and embodied control. See illustrating video at https://youtu.be/RwHiHlym_1k.

研究动机与目标

• 解决强化学习中智能体在抽象环境中表现优异但在物理化、长时程规划任务中失败的问题。
• 创建一个结合高层符号推理与底层感知-运动控制的基准，模拟现实世界中具身智能的挑战。
• 证明标准深度强化学习算法在经典规划游戏的物理嵌入版本中失败，尽管其在抽象版本中表现成功。
• 提供一个可用于开发融合抽象规划与具身控制方法的测试平台，利用开源仿真环境。
• 推动研究开发整合结构化知识、分层规划与内在探索的新型技术，以应对长时程控制任务。

提出的方法

• 将符号规划任务（Sokoban、tic-tac-toe、Go）嵌入物理引擎，要求智能体使用9自由度机械臂操作物理棋子。
• 采用基于视觉的观测空间，结合本体视角摄像头输入，模拟真实世界的感知约束。
• 使用标准深度Q网络（DQN）或演员-critic架构进行策略学习，通过在物理仿真中的试错法进行训练。
• 引入一个强基线方法：利用预训练的专家游戏玩家在训练过程中提供抽象提示（如最优走法），以指导传感器-运动空间中的策略学习。
• 通过课程学习策略，从简单任务（tic-tac-toe）开始，逐步过渡到更复杂任务（Go），同时逐步增加物理控制的难度。
• 在MuJoGo（7×7围棋）中使用固定强度对手，以隔离学习进度与对手强度的影响，从而评估样本效率与收敛性。

实验结果

研究问题

• RQ1 标准深度强化学习智能体能否解决如围棋和推箱子等经典规划游戏的物理嵌入版本，其中走法需要在长时程内实现精确的运动控制？
• RQ2 通过专家游戏玩家提供的抽象规划知识，如何提升在感知-运动控制任务中的样本效率与性能？
• RQ3 端到端强化学习在物理化、时序扩展的规划问题中存在哪些关键失败模式？这些模式揭示了哪些结构性局限？
• RQ4 与抽象版本相比，缺乏特权信息（如真实游戏状态）在这些环境中对学习的阻碍程度如何？
• RQ5 为弥合抽象与物理嵌入式规划任务之间的性能差距，需要引入哪些新型方法要素？

主要发现

• 标准深度强化学习智能体即使在物理嵌入的井字棋和围棋版本中也未能学会基本游戏玩法，尽管其在抽象版本中表现成功。
• 在MuJoGo（7×7围棋）中，原始DQN智能体在数十亿次训练步骤后，每1000场比赛的胜率不足1场，表明样本效率极低。
• 通过引入预训练专家游戏玩家辅助的智能体，在400万场比赛后实现了约60%的胜率，表明抽象知识有助于学习，但单独使用仍不足以成功。
• 即使在小棋盘和弱对手条件下，抽象任务与物理嵌入任务之间的性能差距依然显著，表明在感知、控制与长时程推理的融合方面存在根本性挑战。
• 结果表明，当前强化学习算法缺乏有效协调多尺度推理与控制的机制，亟需开发整合分层规划与结构化监督的新方法。
• 开源环境表明，现有基准更偏向短时程、反应式控制，未能捕捉现实世界具身决策的复杂性。