[论文解读] World Model as a Graph: Learning Latent Landmarks for Planning

Lunjun Zhang, Ge Yang+1 more|arXiv (Cornell University)|Nov 25, 2020

Reinforcement Learning in Robotics参考文献 51被引用 22

一句话总结

本文提出 $L^{3}P$，一种通过潜在地标学习图结构世界模型的方法，以实现在连续控制任务中可扩展的长时程规划。通过聚类可达性感知的潜在目标，并结合具备动态重规划能力的鲁棒图搜索规划器，$L^{3}P$ 在复杂机器人操作与导航任务中相比以往基于模型的强化学习与分层强化学习方法，展现出更优的样本效率与性能表现。

ABSTRACT

Planning - the ability to analyze the structure of a problem in the large and decompose it into interrelated subproblems - is a hallmark of human intelligence. While deep reinforcement learning (RL) has shown great promise for solving relatively straightforward control tasks, it remains an open problem how to best incorporate planning into existing deep RL paradigms to handle increasingly complex environments. One prominent framework, Model-Based RL, learns a world model and plans using step-by-step virtual rollouts. This type of world model quickly diverges from reality when the planning horizon increases, thus struggling at long-horizon planning. How can we learn world models that endow agents with the ability to do temporally extended reasoning? In this work, we propose to learn graph-structured world models composed of sparse, multi-step transitions. We devise a novel algorithm to learn latent landmarks that are scattered (in terms of reachability) across the goal space as the nodes on the graph. In this same graph, the edges are the reachability estimates distilled from Q-functions. On a variety of high-dimensional continuous control tasks ranging from robotic manipulation to navigation, we demonstrate that our method, named L3P, significantly outperforms prior work, and is oftentimes the only method capable of leveraging both the robustness of model-free RL and generalization of graph-search algorithms. We believe our work is an important step towards scalable planning in reinforcement learning.

研究动机与目标

• 解决高维连续控制环境中因模型发散而导致基于模型的强化学习失效的长时程规划挑战。
• 通过可学习的世界模型，结合模型-free强化学习的鲁棒性与图搜索规划的泛化能力。
• 通过在潜在空间中学习稀疏且具备可达性感知的地标，而非使用固定或启发式状态，以缩小规划搜索空间。
• 通过仅在必要时动态重规划，并在边权重中引入软松弛（soft relaxation），提升样本效率与规划鲁棒性。

提出的方法

• 通过在可达性感知的潜在空间中聚类目标，学习潜在地标，其中目标之间的时序距离通过对比损失进行编码。
• 图中的边由从Q函数蒸馏出的可达性估计定义，通过软松弛（softmax）提升对噪声或不准确估计的鲁棒性。
• 提出一种新型在线规划器，利用图实现时序抽象推理，仅在必要时重规划，并移除先前的地标以避免陷入困境。
• 该方法采用动态重规划策略，在适应性与一致性之间取得平衡，避免在每个时间步都进行冗余规划。
• 使用超参数 $d_{\text{max}}$ 对边权重进行截断，确保图搜索过程中仅考虑局部可信的转移。
• 地标数量为可调超参数，但 $L^{3}P$ 在不同取值下仍保持鲁棒性，原因在于学习到的地标具有自适应稀疏分布特性。

实验结果

研究问题

• RQ1 基于潜在地标学习的图结构世界模型是否能在长时程连续控制任务中超越传统基于模型的强化学习方法？
• RQ2 利用可达性感知的潜在聚类如何提升规划的可扩展性与样本效率？
• RQ3 在图边存在噪声或不准确可达性估计的情况下，$L^{3}P$ 规划器的鲁棒性如何？
• RQ4 与每一步都进行重规划的朴素策略相比，$L^{3}P$ 中的动态重规划在性能与稳定性方面表现如何？
• RQ5 当仅在有限经验上进行训练时，$L^{3}P$ 是否能泛化至更长时程与未见过的环境？

主要发现

• $L^{3}P$ 在具有挑战性的机器人导航与操作任务（包括 AntMaze-Hard）中，显著优于以往基于模型的强化学习与分层强化学习方法。
• 该方法在渐近性能与样本效率方面优于基线方法，尤其在长时程规划场景中表现更优。
• 消融实验表明，$L^{3}P$ 规划器对成功至关重要，其性能优于每一步都重新计算最短路径的朴素规划器。
• 该算法对地标数量的变化具有鲁棒性，因为学习过程能自然地将地标分布于目标空间，以保持覆盖范围。
• 在边权重中使用 softmax 而非硬性最大值，可提升对不准确可达性估计的鲁棒性，尤其在存在少数错误边时表现更优。
• 该方法可泛化至更长时程，在其他方法失效时仍表现出优越性能，表明通过图结构规划实现了有效的时序抽象。