[论文解读] Using reinforcement learning to learn how to play text-based games

Mikuláš Zelinka|arXiv (Cornell University)|Jan 6, 2018

Artificial Intelligence in Games参考文献 1被引用 10

一句话总结

本文提出了一种强化学习智能体 SSAQN，通过自然语言的状态和动作描述来学习玩文字类游戏。通过利用LSTM和全连接层共享文本表征，该智能体在多个游戏中实现了强大的泛化能力和迁移学习性能，优于先前的模型，并在同时训练多个游戏时表现出更优的性能，包括在复杂游戏《死亡机器》中接近最优的奖励。

ABSTRACT

The ability to learn optimal control policies in systems where action space is defined by sentences in natural language would allow many interesting real-world applications such as automatic optimisation of dialogue systems. Text-based games with multiple endings and rewards are a promising platform for this task, since their feedback allows us to employ reinforcement learning techniques to jointly learn text representations and control policies. We present a general text game playing agent, testing its generalisation and transfer learning performance and showing its ability to play multiple games at once. We also present pyfiction, an open-source library for universal access to different text games that could, together with our agent that implements its interface, serve as a baseline for future research.

研究动机与目标

• 开发一种通用的强化学习智能体，能够使用自然语言输入学习在文字类游戏中实现最优策略。
• 研究在文字类游戏中强化学习智能体的泛化能力和迁移学习能力，这些任务是具有自然语言状态和动作空间的复杂序列决策任务。
• 创建一个统一的开源接口，用于访问多样化的文字类游戏，以支持该领域的标准化评估和未来研究。
• 评估在多个游戏中同时训练是否相比单独训练能提升性能和知识迁移。
• 评估使用单一智能体架构在具有不同语言和结构特性的不同游戏环境中实现泛化的可行性。

提出的方法

• 该智能体 SSAQN（共享结构演员-评论家网络）采用共享神经网络架构，包含词嵌入、用于序列编码的LSTM层以及用于Q值预测的全连接层。
• 其采用深度Q网络（DQN）原理，结合经验回放和目标网络更新，以在文字类游戏环境中稳定训练。
• 该智能体将状态和动作描述均作为标记序列进行处理，使用共享嵌入和联合交互函数来计算Q值。
• 损失函数基于预测Q值与目标Q值之间的时序差分误差，通过随机梯度下降配合RMSProp进行优化。
• 该智能体采用ε-greedy探索策略，并使用衰减的ε调度来平衡训练过程中的探索与利用。
• 使用 pyfiction 库作为通用接口，用于访问和模拟多种文字类游戏，从而实现在多个环境中的标准化评估。

实验结果

研究问题

• RQ1 单一强化学习智能体是否能够泛化到具有不同语言和结构特征的多种多样化文字类游戏？
• RQ2 与单独训练相比，在多个游戏中同时训练是否能提升性能和知识迁移？
• RQ3 该智能体在多大程度上能够学习到可迁移的游戏状态和动作表征，以支持对未见过的游戏的泛化？
• RQ4 在奖励最大化和收敛速度方面，该智能体的性能与先前工作相比如何？
• RQ5 该智能体是否能在复杂且非确定性的游戏《死亡机器》中实现接近人类水平的性能？

主要发现

• SSAQN 智能体在《死亡机器》游戏中实现了接近最优的平均奖励 16.0，超过了先前研究中报告的熟练人类玩家的表现。
• 在同时训练多个游戏时，该智能体性能得到提升，尤其在非确定性游戏《死亡机器》中表现更优，表明实现了有效的知识迁移。
• 即使使用共享表征，向未见过的游戏进行泛化仍然困难，凸显了文字类游戏对策略变化的敏感性，以及零样本迁移的挑战。
• 在 He 等人（2015）研究中测试的两款游戏中，该智能体的性能优于或匹配 DRRN 模型，验证了其有效性。
• pyfiction 库成功实现了对多种文字类游戏的通用访问，可作为未来文字类游戏强化学习研究的可靠基线。
• 结果表明，尽管当前模型能够学习有效策略，但在多样化的文字类游戏环境中实现稳健的泛化和迁移学习仍面临重大挑战。