[论文解读] Neural Episodic Control with State Abstraction

Zhuo Li, Derui Zhu+7 more|arXiv (Cornell University)|Jan 27, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出神经情景控制状态抽象（NECSA），一种样本高效的深度强化学习方法，通过基于网格的状态抽象实现可扩展的情景记忆存储与多步状态转移分析。通过将连续状态抽象为离散网格，并利用基于评分的状态评估测量内在奖励，NECSA 在 MuJoCo 和 Atari 环境中实现了比当前最先进的情景控制方法更高的样本效率。

ABSTRACT

Existing Deep Reinforcement Learning (DRL) algorithms suffer from sample inefficiency. Generally, episodic control-based approaches are solutions that leverage highly-rewarded past experiences to improve sample efficiency of DRL algorithms. However, previous episodic control-based approaches fail to utilize the latent information from the historical behaviors (e.g., state transitions, topological similarities, etc.) and lack scalability during DRL training. This work introduces Neural Episodic Control with State Abstraction (NECSA), a simple but effective state abstraction-based episodic control containing a more comprehensive episodic memory, a novel state evaluation, and a multi-step state analysis. We evaluate our approach to the MuJoCo and Atari tasks in OpenAI gym domains. The experimental results indicate that NECSA achieves higher sample efficiency than the state-of-the-art episodic control-based approaches. Our data and code are available at the project website\footnote{\url{https://sites.google.com/view/drl-necsa}}.

研究动机与目标

• 通过更有效地利用过去经验，解决深度强化学习（DRL）的样本低效问题。
• 克服现有情景控制方法在利用潜在语义（如状态转移和拓扑相似性）方面的局限性。
• 通过将基于 kNN 的相似性搜索替换为基于状态抽象的精确匹配查找，实现情景数据的可扩展存储与检索。
• 通过分析多步状态转移模式而非单个状态，提升策略泛化能力。
• 提出一种新颖的内在状态度量方法，利用奖励置信度评分以增强策略优化。

提出的方法

• 通过每维均匀区间划分，将连续状态空间离散化为有限网格，为每个状态分配唯一的抽象 ID。
• 将过去经验存储在以抽象状态 ID 索引的情景记忆中，实现通过精确匹配的 O(1) 检索，而非基于 kNN 的 O(N) 搜索。
• 通过将连续状态序列视为固定抽象模式，实现对状态转移的多步分析，以提升泛化能力。
• 引入一种新颖的内在状态度量方法，利用奖励置信度评分，该评分聚合抽象模式上的历史影响，而非仅依赖 Q 值。
• 将外在奖励与内在评分结合以加速策略优化，其中评分反映抽象状态-动作对对长期回报的整体影响。
• 使用每个抽象模式内具体状态的平均 Q 值来估计价值，避免直接对多步模式进行计算。

实验结果

研究问题

• RQ1 状态抽象能否提升深度强化学习中情景记忆的可扩展性与效率？
• RQ2 与单状态分析相比，对状态转移的多步分析是否能带来更好的策略泛化？
• RQ3 奖励置信度评分能否作为比 Q 值更全面的内在奖励信号，用于抽象化的情景模式？
• RQ4 在标准基准测试中，NECSA 与当前最先进的情景控制基 DRL 方法相比，样本效率如何？
• RQ5 抽象化的情景记忆在多大程度上能够捕捉潜在语义，如拓扑相似性与转移动态？

主要发现

• NECSA 在 OpenAI Gym 的 MuJoCo 和 Atari 环境中，实现了比当前最先进的情景控制基方法更高的样本效率。
• 基于网格的状态抽象将情景记忆检索复杂度从 O(N) 降低至 O(1)，显著提升了可扩展性。
• 通过奖励置信度评分（NECSA_Scores）度量状态-动作对，相比使用 Q 值（NECSA_Q-values），实现了更高的样本效率，证明了所提内在奖励度量的有效性。
• 多步状态转移分析通过捕捉长期依赖关系与策略失败的根本原因，实现了更好的泛化能力。
• 抽象化的情景记忆支持高级语义分析，如识别拓扑相似性与转移模式，这些在基于 kNN 的情景控制中此前难以实现。
• NECSA 具有高度可扩展性，可与多种 DRL 算法和任务集成，表明其具有广泛的应用潜力。