[论文解读] Pre-trained Language Models as Prior Knowledge for Playing Text-based Games

Ishika Singh, Gargi Singh+1 more|arXiv (Cornell University)|Jul 18, 2021

Topic Modeling被引用 5

一句话总结

本文提出了一种强化学习框架，利用预训练语言模型（PLMs）作为先验知识，以增强文本游戏智能体的语义理解能力。通过在深度Q网络中微调基于BERT的表征，该方法在Zork1上取得了44.7的新SOTA分数——较之前工作高出1.6分，展示了在部分可观察、自然语言环境下的改进推理能力与样本效率。

ABSTRACT

Recently, text world games have been proposed to enable artificial agents to understand and reason about real-world scenarios. These text-based games are challenging for artificial agents, as it requires an understanding of and interaction using natural language in a partially observable environment. Agents observe the environment via textual descriptions designed to be challenging enough for even human players. Past approaches have not paid enough attention to the language understanding capability of the proposed agents. Typically, these approaches train from scratch, an agent that learns both textual representations and the gameplay online during training using a temporal loss function. Given the sample-inefficiency of RL approaches, it is inefficient to learn rich enough textual representations to be able to understand and reason using the textual observation in such a complicated game environment setting. In this paper, we improve the semantic understanding of the agent by proposing a simple RL with LM framework where we use transformer-based language models with Deep RL models. We perform a detailed study of our framework to demonstrate how our model outperforms all existing agents on the popular game, Zork1, to achieve a score of 44.7, which is 1.6 higher than the state-of-the-art model. Overall, our proposed approach outperforms 4 games out of the 14 text-based games, while performing comparable to the state-of-the-art models on the remaining games.

研究动机与目标

• 解决从零开始训练的强化学习智能体在文本游戏中存在的样本效率低下与语义理解能力差的问题。
• 克服在线强化学习在仅从游戏生成的观测中学习丰富文本表征时的局限性。
• 将预训练语言模型作为先验知识，以提升在部分可观察、自然语言环境中的策略学习与决策能力。
• 证明利用预训练表征可带来更优的泛化能力与跨多种文本游戏的性能表现。
• 通过使智能体能够从自然语言描述与环境中的隐含线索中学习，减少对人工设计奖励函数的依赖。

提出的方法

• 在游戏特定的文本观测上微调基于BERT的预训练语言模型，以提取语义丰富的状态表征。
• 将PLM编码器集成到深度Q网络（DQN）架构中，基于上下文嵌入生成动作价值预测。
• 使用标准的深度强化学习目标与时间差分损失函数，端到端训练策略。
• 应用课程学习与探索策略，以提升训练过程中的样本效率。
• 保持与先前工作相同的动作空间与环境接口，确保与基线方法的公平比较。
• 仅使用游戏环境中稀疏的奖励信号进行训练，不访问真实目标或奖励塑形信息。

实验结果

研究问题

• RQ1 预训练语言模型能否作为有效先验知识，以提升文本游戏智能体的语义理解能力？
• RQ2 将PLMs集成到深度强化学习框架中，是否能相比从零训练获得更高的样本效率与更好性能？
• RQ3 与当前SOTA智能体相比，该方法在最终游戏得分与跨多种游戏的泛化能力方面表现如何？
• RQ4 智能体是否能更有效地利用预训练表征提取并利用隐含线索（如物品交互、环境描述）？
• RQ5 使用PLMs是否能减少在文本游戏环境中对复杂奖励塑形或课程设计的依赖？

主要发现

• 所提出的DBERT-DRRN模型在Zork1上取得了44.7的游戏得分，创下新SOTA，较之前最佳模型高出1.6分。
• 该模型在14种标准文本游戏中的4款上优于现有智能体，表明其在单一环境外也具备更广泛的适用性。
• 预训练语言模型的集成显著提升了智能体对复杂文本描述的解释能力，以及对动作选择相关线索的提取能力。
• 智能体在复杂场景中展现出改进的推理能力，例如在游戏演示中正确使用灯与鸡蛋应对黑暗房间。
• 该模型在其余游戏上也保持了强劲性能，达到或接近SOTA水平，表明其具备鲁棒性与泛化能力。
• 结果证实，预训练语言模型提供了强大的归纳偏置，可显著提升在部分可观察、自然语言环境中的学习效率与最终性能。