[论文解读] POPGym: Benchmarking Partially Observable Reinforcement Learning

Steven Morad, Ryan Kortvelesy+3 more|arXiv (Cornell University)|Mar 3, 2023

Mobile Crowdsensing and Crowdsourcing被引用 5

一句话总结

POPGym 引入了一个全面的局部可观察强化学习（POMDP）基准，包含15种多样化的环境，具有多个难度级别，以及13种记忆模型基线。基于RLlib构建，该基准可实现快速、可扩展的记忆型强化学习智能体评估，在消费级GPU上两小时内即可收敛，并实现了迄今为止最大规模的记忆模型比较研究。

ABSTRACT

Real world applications of Reinforcement Learning (RL) are often partially observable, thus requiring memory. Despite this, partial observability is still largely ignored by contemporary RL benchmarks and libraries. We introduce Partially Observable Process Gym (POPGym), a two-part library containing (1) a diverse collection of 15 partially observable environments, each with multiple difficulties and (2) implementations of 13 memory model baselines -- the most in a single RL library. Existing partially observable benchmarks tend to fixate on 3D visual navigation, which is computationally expensive and only one type of POMDP. In contrast, POPGym environments are diverse, produce smaller observations, use less memory, and often converge within two hours of training on a consumer-grade GPU. We implement our high-level memory API and memory baselines on top of the popular RLlib framework, providing plug-and-play compatibility with various training algorithms, exploration strategies, and distributed training paradigms. Using POPGym, we execute the largest comparison across RL memory models to date. POPGym is available at https://github.com/proroklab/popgym.

研究动机与目标

• 解决现有强化学习库中局部可观察强化学习（POMDP）缺乏全面、多样化且高效的基准问题。
• 提供一个统一的高性能库，集成多种记忆模型基线，以在POMDP设置中实现系统性比较。
• 通过使用快速、低维观测，实现在多样化任务上大规模、可复现的记忆模型评估。
• 通过提供标准化、可扩展的基准框架，与主流强化学习训练流水线兼容，克服强化学习中的可复现性危机。
• 填补强化学习库通常仅支持3–4种记忆模型（多限于帧堆叠和LSTM）的空白。

提出的方法

• 设计并实现15种多样化的POMDP环境，包括网格世界、纸牌游戏和控制任务，每种环境均具有多个难度级别，并采用程序化关卡生成以防止过拟合。
• 开发高层记忆API，基于RLlib构建，支持与多种强化学习算法、探索策略及分布式训练设置的无缝集成。
• 实现13种不同的记忆模型基线，包括LSTM、GRU、S4D、TCN、LMU以及新型模型如FART和DNC，以实现直接比较。
• 使用低维观测以确保快速训练（单张消费级GPU上两小时内完成）并降低内存消耗。
• 在所有环境和难度级别上采用标准化评估协议，确保公平且可复现的比较。
• 与现有RLlib生态系统集成，支持与常见训练和日志框架的即插即用兼容性。

Figure 2: Performance characteristics for POPGym memory baselines on random inputs. We use a recurrent state size of 256, a batch size of 64, and a episode length of 1024. We compute CPU statistics on a 3GHz Xeon Gold and GPU statistics on a 2080Ti, reporting the mean and 95% confidence interval ove

实验结果

研究问题

• RQ1 哪些记忆模型在多样化POMDP任务（包括非导航领域）中泛化能力最佳？
• RQ2 现代序列模型（如S4D、LMU、TCN）在局部可观察设置下与标准RNN（LSTM、GRU）相比表现如何？
• RQ3 记忆模型在具有长期依赖性或延迟奖励的任务中能将性能提升多少？
• RQ4 不同记忆架构在不同程度的局部可观察性和噪声条件下表现如何？
• RQ5 统一且可扩展的基准（如POPGym）能否推动记忆增强强化学习中更系统化、可复现的进展？

主要发现

• LSTM和GRU模型在RepeatFirst和RepeatPrevious任务中达到接近最优性能（平均回报1.000），表明其在短期记忆任务中的强大表现。
• S4D模型在RepeatFirstHard任务中获得0.289的回报，优于大多数基线，表明其在POMDP中具有结构化序列建模的潜力。
• FART和FWP模型在需要长期记忆的任务中表现优异，FART在RepeatFirstHard任务中达到0.962，在RepeatPreviousHard任务中达到0.867。
• MLP和PosMLP模型在记忆密集型任务中表现较差，其在困难变体上的回报低于0.5，凸显非循环架构在POMDP中的局限性。
• 帧堆叠（Fr.Stack）在简单任务中表现良好（如在StatelessCartPoleEasy中达到1.000），但在更难任务中性能显著下降，表明其泛化能力有限。
• DNC模型表现参差不齐，在RepeatFirstHard任务中获得0.716的回报，但在更难变体中出现负回报，表明其在高度局部可观察性下记忆检索存在不稳定性。

Figure 3: (Left) A summary comparison of baselines aggregated over all environments. We normalize the MMER such that 0 denotes the worst trial and 1 denotes the best trial for a specific environment. We report the interquartile range (box), median (horizontal line), and mean (dot) normalized MMER ov