[论文解读] Self-supervised Learning of Distance Functions for Goal-Conditioned Reinforcement Learning

Srinivas Venkattaramanujam, Eric Crawford+2 more|arXiv (Cornell University)|Jul 5, 2019

Reinforcement Learning in Robotics参考文献 23被引用 11

一句话总结

本文提出一种自监督方法，通过训练神经网络预测策略下状态间通行时间的平方根，来学习一种与动力学相关的距离度量函数，用于目标条件强化学习。该方法实现了在复杂环境中在线、无需领域知识的条件目标策略训练，显著降低了对手动设计距离度量的依赖，同时提升了样本效率和课程学习效果。

ABSTRACT

Goal-conditioned policies are used in order to break down complex reinforcement learning (RL) problems by using subgoals, which can be defined either in state space or in a latent feature space. This can increase the efficiency of learning by using a curriculum, and also enables simultaneous learning and generalization across goals. A crucial requirement of goal-conditioned policies is to be able to determine whether the goal has been achieved. Having a notion of distance to a goal is thus a crucial component of this approach. However, it is not straightforward to come up with an appropriate distance, and in some tasks, the goal space may not even be known a priori. In this work we learn a distance-to-goal estimate which is computed in terms of the number of actions that would need to be carried out in a self-supervised approach. Our method solves complex tasks without prior domain knowledge in the online setting in three different scenarios in the context of goal-conditioned policies a) the goal space is the same as the state space b) the goal space is given but an appropriate distance is unknown and c) the state space is accessible, but only a subset of the state space represents desired goals, and this subset is known a priori. We also propose a goal-generation mechanism as a secondary contribution.

研究动机与目标

• 解决为条件目标强化学习设计有效距离函数的挑战，该挑战通常需要大量领域知识。
• 通过学习反映实际环境转移成本的动力学感知距离度量，克服L2距离的局限性。
• 实现与策略学习同步的在线、自监督距离函数训练，减少对预定义目标空间或奖励塑形的依赖。
• 开发一种自动课程生成机制，利用学习到的距离函数选择可行且逐步困难的目标。
• 缓解在线策略距离训练中出现的扩展ε-球问题，该问题会阻碍目标可达性评估和超参数调优。

提出的方法

• 将两个状态之间的距离定义为在行为策略下预期通行时间（双向首达时间）的平方根。
• 训练神经网络对状态进行嵌入，使得其嵌入表示的p-范数近似该基于通行时间的距离。
• 利用策略收集的在线经验，以基于时间邻近性的对比损失，自监督地训练距离网络。
• 借助与图拉普拉斯算子的联系，证明此类嵌入空间的存在性并确保理论基础。
• 为距离预测器实现离策略训练方案，以避免在线策略训练中观察到的扩展ε-球问题。
• 将学习到的距离函数集成到条件目标策略训练流程中，通过目标空间中的动作噪声实现自动目标生成。

实验结果

研究问题

• RQ1 是否可以在线学习一种自监督距离函数，使其反映真实环境动力学而非静态状态差异？
• RQ2 距离预测器的在线策略与离策略训练选择如何影响条件目标学习过程的稳定性与可扩展性？
• RQ3 在复杂、高维环境中，学习到的距离函数在多大程度上可以替代手工设计的L2距离度量？
• RQ4 学习到的距离函数是否能够在不了解目标空间先验知识的情况下，实现有效的自动课程学习？
• RQ5 在线策略距离学习中扩展ε-球现象的实际影响是什么，以及如何缓解该问题？

主要发现

• 所提方法学习到的动力学感知距离函数在状态接近但任务不接近的环境中，显著优于L2距离。
• 自监督距离网络成功近似了理论上的通行时间距离，其嵌入能保持状态空间中时间转移成本的特性。
• 在线策略训练距离预测器会导致ε-球扩展，即被认为‘接近’目标的状态区域随时间扩大，增加了超参数调优的复杂性。
• 离策略训练稳定了距离函数并防止ε-球扩展，使其更适用于可靠的目標评估与课程学习。
• 该方法通过动作噪声实现了有效的自动目标生成，性能可与GoalGAN相媲美，且无需生成对抗网络训练或可行性检查。
• 在Maze Ant和Free Ant环境中的实证结果表明，该方法减少了对领域知识的依赖，并提升了在线条件目标强化学习的样本效率。