[论文解读] TextWorld: A Learning Environment for Text-based Games

Marc-Alexandre Côté, Ákos Kádár+11 more|arXiv (Cornell University)|Jun 29, 2018

Reinforcement Learning in Robotics参考文献 26被引用 96

一句话总结

TextWorld 是一个 Python 框架，用于在文本类游戏中训练和评估 RL 代理，支持可手工制作或自动生成的游戏，难度、语言和可观测性可控。

ABSTRACT

We introduce TextWorld, a sandbox learning environment for the training and evaluation of RL agents on text-based games. TextWorld is a Python library that handles interactive play-through of text games, as well as backend functions like state tracking and reward assignment. It comes with a curated list of games whose features and challenges we have analyzed. More significantly, it enables users to handcraft or automatically generate new games. Its generative mechanisms give precise control over the difficulty, scope, and language of constructed games, and can be used to relax challenges inherent to commercial text games like partial observability and sparse rewards. By generating sets of varied but similar games, TextWorld can also be used to study generalization and transfer learning. We cast text-based games in the Reinforcement Learning formalism, use our framework to develop a set of benchmark games, and evaluate several baseline agents on this set and the curated list.

研究动机与目标

• 调查基于文本的游戏中的机器学习挑战并分析手工创作的游戏。
• 描述 TextWorld 框架、其特性，以及在 RL 研究中的用法。
• 提供一组初始的基于文本的基准游戏用于 RL 评估。
• 在基准和手工创作的游戏上评估基线 RL 代理。
• 推动 TextWorld 作为一个活的资源，用于课程、泛化和迁移学习研究。

提出的方法

• 将基于文本的游戏框架化为 RL 形式（MDP/POMDP）。
• 引入一个两组件架构：一个游戏生成器和一个处理交互式游玩的游戏引擎。
• 使用基于逻辑的推理引擎通过前向/后向链来构建有效的游戏状态和转移。
• 通过随机游走生成地图、通过依赖约束和前向/后向机制生成任务来生成游戏。
• 使用 CFG 驱动的文本生成器将游戏状态渲染为自然语言描述。
• 提供接口，将生成的游戏编译为 Inform 7/Glulx，并通过统一 API 与代理交互。
• 提供可选的中间奖励和可调的可观测性，以研究课程、泛化和迁移。

实验结果

研究问题

• RQ1 如何将文本基游戏形式化为可控基准，以用于 RL 研究？
• RQ2 TextWorld 如何实现生成多样但相关的游戏，以研究泛化和迁移学习？
• RQ3 在经过筛选和生成的文本基准上，哪些基线 RL 方法表现良好，它们的局限性是什么？
• RQ4 可控方面如任务长度、地图规模和词汇量如何影响学习动态和语言理解？
• RQ5 在稀疏奖励、部分可观测的文本环境中，哪些有效策略（如中间奖励）有助于训练？

主要发现

• TextWorld 提供一个可扩展的框架，用于生成和与文本基游戏进行 RL 研究。
• 该框架通过对游戏状态的结构化表示和获胜策略，实现对状态跟踪和中间奖励的精确处理。
• TextWorld 通过改变环境参数和生成相关游戏，支持课程与迁移学习实验。
• 提出了一个经过筛选的手工文本游戏清单和初始基准集，并在其上评估基线代理。
• 作者将 TextWorld 定位为一个活的资源，旨在随着社区贡献和新基准的出现而演化。