[论文解读] Successor Feature Landmarks for Long-Horizon Goal-Conditioned Reinforcement Learning

Hoang Anh Thi Van, Sungryull Sohn+3 more|arXiv (Cornell University)|Nov 18, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出成功特征路标（SFL），一种用于长时程目标条件强化学习的框架，利用成功特征（SF）通过状态新颖性估计来驱动探索，并通过非参数化路标图实现高层规划。SFL 直接从成功特征相似性（SFS）计算目标条件策略，在 MiniGrid 和 ViZDoom 上取得最先进性能，于最困难的 ViZDoom 测试中达到 85% 的成功率，优于高维、长时程设置下的各类基线方法。

ABSTRACT

Operating in the real-world often requires agents to learn about a complex environment and apply this understanding to achieve a breadth of goals. This problem, known as goal-conditioned reinforcement learning (GCRL), becomes especially challenging for long-horizon goals. Current methods have tackled this problem by augmenting goal-conditioned policies with graph-based planning algorithms. However, they struggle to scale to large, high-dimensional state spaces and assume access to exploration mechanisms for efficiently collecting training data. In this work, we introduce Successor Feature Landmarks (SFL), a framework for exploring large, high-dimensional environments so as to obtain a policy that is proficient for any goal. SFL leverages the ability of successor features (SF) to capture transition dynamics, using it to drive exploration by estimating state-novelty and to enable high-level planning by abstracting the state-space as a non-parametric landmark-based graph. We further exploit SF to directly compute a goal-conditioned policy for inter-landmark traversal, which we use to execute plans to "frontier" landmarks at the edge of the explored state space. We show in our experiments on MiniGrid and ViZDoom that SFL enables efficient exploration of large, high-dimensional state spaces and outperforms state-of-the-art baselines on long-horizon GCRL tasks.

研究动机与目标

• 解决在大规模、高维状态空间中长时程目标条件强化学习的挑战。
• 在不依赖人类演示或均匀状态空间采样条件下，实现高效探索。
• 构建一种可扩展的、动态的基于图的规划框架，利用成功特征实现状态抽象与目标导向导航。
• 通过直接从成功特征相似性计算目标条件策略，消除对额外策略训练的需求。
• 在如 3D 迷宫和网格世界等复杂环境中，提升泛化能力与可扩展性。

提出的方法

• 利用成功特征（SF）捕捉转移动态，并定义一种新型距离度量：成功特征相似性（SFS）。
• 利用 SFS 估计状态新颖性，以在探索过程中选择新路标，构建非参数化路标图。
• 构建有向图，其中节点为路标，边基于 SFS 作为状态间距离的估计。
• 直接从 SFS 衍生出目标条件策略，无需额外策略训练。
• 利用图规划通往前沿路标的路径，并通过基于 SFS 的策略执行每个路径段。
• 通过自监督方式，利用探索轨迹中的转移数据更新图结构与 SF 表示。

实验结果

研究问题

• RQ1 成功特征能否在无需人类演示的高维、长时程环境中实现高效探索？
• RQ2 SFS 能否作为稳健且可学习的距离度量，用于目标条件策略计算而无需额外训练？
• RQ3 基于 SFS 构建的路标图能否在复杂环境中实现可扩展且高效的长时程规划？
• RQ4 在长时程任务中，SFL 与最先进图方法及无模型方法相比，其成功率与样本效率如何？
• RQ5 SFL 能否在多样化目标位置上实现泛化，尤其是在最困难、最远距离的场景中？

主要发现

• 在最困难的 ViZDoom 测试中，SFL 达到 85% 的成功率，显著优于次佳基线方法（EC+FS+SGM 为 48%）。
• 在最困难的 MiniGrid 环境中，SFL 达成 62% 的成功率，优于所有消融实验基线，展现出对远距离目标的强大泛化能力。
• SFL 在高维状态空间中表现出卓越的样本效率，而其他方法因探索覆盖不足而难以扩展。
• 使用 EC 生成的轨迹填充图结构，提升了 SPTM 在长时程目标上的性能，表明探索奖励可增强对远距离区域的覆盖。
• 尽管 FS 生成的轨迹覆盖范围有限，但其在简单与中等难度任务上优于 RS 和 EC，归因于与评估设置的分布对齐。
• 可视化结果表明，EC 代理实现了优于 FS 的长距离状态覆盖，而 RS 提供最广泛的地图覆盖，验证了探索策略对图质量的关键作用。