[论文解读] Semantic HELM: A Human-Readable Memory for Reinforcement Learning

Fabian Paischer, Thomas Adler+2 more|arXiv (Cornell University)|Jun 15, 2023

Topic Modeling被引用 5

一句话总结

本文提出语义HELM，一种用于强化学习的可读性记忆机制，利用CLIP将视觉观测映射到自然语言标记，再由预训练语言模型处理以形成连贯、可解释的记忆。该方法在记忆密集型任务（如MiniGrid-Memory）中达到最先进性能，在Psychlab的连续识别任务中收敛速度比以往方法快100倍，同时支持对存储知识的直接检查，提升可解释性。

ABSTRACT

Reinforcement learning agents deployed in the real world often have to cope with partially observable environments. Therefore, most agents employ memory mechanisms to approximate the state of the environment. Recently, there have been impressive success stories in mastering partially observable environments, mostly in the realm of computer games like Dota 2, StarCraft II, or MineCraft. However, existing methods lack interpretability in the sense that it is not comprehensible for humans what the agent stores in its memory. In this regard, we propose a novel memory mechanism that represents past events in human language. Our method uses CLIP to associate visual inputs with language tokens. Then we feed these tokens to a pretrained language model that serves the agent as memory and provides it with a coherent and human-readable representation of the past. We train our memory mechanism on a set of partially observable environments and find that it excels on tasks that require a memory component, while mostly attaining performance on-par with strong baselines on tasks that do not. On a challenging continuous recognition task, where memorizing the past is crucial, our memory mechanism converges two orders of magnitude faster than prior methods. Since our memory mechanism is human-readable, we can peek at an agent's memory and check whether crucial pieces of information have been stored. This significantly enhances troubleshooting and paves the way toward more interpretable agents.

研究动机与目标

• 解决现有部分可观察强化学习环境中记忆机制缺乏可解释性的问题。
• 通过以自然语言表示过去事件，使人类能够理解智能体记忆的内容。
• 开发一种既高效又可解释的记忆机制，且无需微调基础模型。
• 在需要长期记忆的环境中评估该方法，特别是传统方法在样本效率方面表现不佳的任务。
• 证明语义记忆可通过人类可读的自我审视提升故障排查与模型调试能力。

提出的方法

• 该方法使用冻结的CLIP视觉编码器，将视觉观测嵌入与文本共享的嵌入空间，实现语义相关语言标记的检索。
• 从CLIP文本编码器的重叠词汇中构建语义数据库，存储概念嵌入以实现快速检索。
• 将检索到的语言标记输入预训练语言模型（如GPT-2），将其历史压缩为上下文相关的记忆向量。
• 智能体策略同时使用当前观测和压缩后的记忆向量来选择动作，且记忆机制在训练期间完全冻结。
• 该方法避免训练记忆组件，转而依赖基础模型的语义泛化能力，从而降低计算成本。
• 在部分环境（如Avalon）中引入帧跳过机制，以减少记忆寄存器负载并缓解冗余问题。

实验结果

研究问题

• RQ1 基于CLIP的视觉到文本检索能否有效从合成环境中提取语义概念，用于强化学习？
• RQ2 人类可读的、基于语言的记忆机制是否能提升记忆密集型强化学习任务中的样本效率？
• RQ3 记忆机制的可解释性在多大程度上提升了故障排查与模型分析能力？
• RQ4 在需要长期记忆的环境中，语义记忆的性能与强基线方法相比如何？
• RQ5 与以往方法相比，该方法在连续识别任务上是否能实现更快的收敛速度？

主要发现

• 在MiniGrid-Memory任务中，语义HELM实现了最先进性能，证明其在记忆密集型环境中的有效性。
• 在Psychlab连续识别任务中，该方法收敛速度比以往方法快两个数量级，以显著更少的交互步数达到高性能。
• ViT-B/16 CLIP编码器在语义检索中优于ResNet-50，显著提升了任务性能。
• 人类可读的记忆支持对存储信息的直接检查，可识别关键事件是否被记录，从而增强故障排查能力。
• 在Avalon环境中，该方法在有限交互预算下性能与最先进基线持平，同时增加了可解释性。
• 该方法在非记忆密集型任务中也保持了强劲性能，表明其在无需记忆的场景下不会降低性能。