[论文解读] Retrieval-Augmented Reinforcement Learning

A. Goyal, Abram L. Friesen+14 more|arXiv (Cornell University)|Feb 17, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出检索增强强化学习（R2A），一种通过整合神经检索过程动态访问过去经验数据集以增强强化学习智能体的方法。通过在推理过程中检索相关轨迹，R2A 在离线和在线强化学习设置中均实现了更快的学习速度和更优的性能表现，在Atari、GridWorld 和 BabyAI 基准测试中优于标准 DQN 和 R2D2 智能体。

ABSTRACT

Most deep reinforcement learning (RL) algorithms distill experience into parametric behavior policies or value functions via gradient updates. While effective, this approach has several disadvantages: (1) it is computationally expensive, (2) it can take many updates to integrate experiences into the parametric model, (3) experiences that are not fully integrated do not appropriately influence the agent's behavior, and (4) behavior is limited by the capacity of the model. In this paper we explore an alternative paradigm in which we train a network to map a dataset of past experiences to optimal behavior. Specifically, we augment an RL agent with a retrieval process (parameterized as a neural network) that has direct access to a dataset of experiences. This dataset can come from the agent's past experiences, expert demonstrations, or any other relevant source. The retrieval process is trained to retrieve information from the dataset that may be useful in the current context, to help the agent achieve its goal faster and more efficiently. he proposed method facilitates learning agents that at test-time can condition their behavior on the entire dataset and not only the current state, or current trajectory. We integrate our method into two different RL agents: an offline DQN agent and an online R2D2 agent. In offline multi-task problems, we show that the retrieval-augmented DQN agent avoids task interference and learns faster than the baseline DQN agent. On Atari, we show that retrieval-augmented R2D2 learns significantly faster than the baseline R2D2 agent and achieves higher scores. We run extensive ablations to measure the contributions of the components of our proposed method.

研究动机与目标

• 解决标准深度强化学习中的局限性，即过去经验被提炼为参数化模型后会丢失详细信息。
• 克服标准强化学习中整合新经验的延迟以及无法基于完整历史数据进行行为条件化的问题。
• 使智能体能够基于完整的过去经验数据集进行决策，而非仅依赖当前状态或学习到的策略。
• 提升多任务和离线强化学习设置下的样本效率，并减少任务干扰。
• 开发一种检索增强框架，为智能体和检索过程分别维护独立的内部状态，实现动态上下文感知的信息检索。

提出的方法

• 将标准强化学习智能体与可微神经检索过程相结合，使其能够访问过去轨迹的数据集。
• 使用带有多个基于注意力的存储槽的循环检索网络，从一批编码后的轨迹中检索相关信息。
• 使用与智能体相同的编码器对原始轨迹进行编码，然后通过前向和后向摘要函数进行总结。
• 通过梯度更新端到端训练检索过程，以提升其在当前任务上下文中的检索相关性。
• 通过上下文感知的更新机制，将检索到的信息整合到智能体的策略或价值函数中。
• 将该方法应用于离线 DQN 和在线 R2D2 智能体，所有环境均使用共享的超参数。

实验结果

研究问题

• RQ1 通过访问完整的过去经验，检索增强的强化学习智能体是否能比标准参数化强化学习智能体实现更快、更高效的学习？
• RQ2 在多任务离线强化学习中，过去轨迹的检索在多大程度上影响性能，特别是对减少任务干扰的作用如何？
• RQ3 在如 BabyAI 这类部分可观察环境中，检索过程在多大程度上提升了样本效率和泛化能力？
• RQ4 与基础强化学习算法相比，检索机制在学习速度和最终性能方面分别贡献了多少？
• RQ5 检索到的轨迹与当前任务之间存在何种关系？智能体是否更倾向于从相似任务或组合性任务中检索？

主要发现

• 在 Atari 环境中，检索增强的 R2D2 智能体显著优于基线 R2D2 智能体，得分更高且学习速度更快。
• 在离线多任务 GridRoboMan 中，RA-DQN 通过避免任务干扰，在 30 个任务中均实现了比标准 DQN 更快的学习速度和更优的性能表现。
• 在 BabyAI 中，智能体在组合性任务中 54% 的时间检索了其他任务的信息，而在单行为任务中仅为 21%，表明其具备自适应检索行为。
• 消融实验确认，检索机制以及检索批次的构建方式对性能提升均至关重要。
• 即使在经验回放数据有限的情况下，检索增强智能体仍保持高性能，证明其具备更强的样本效率。
• 该方法成功使智能体能够基于完整的过去经验数据集进行行为决策，而不仅限于当前状态或策略参数。