[论文解读] Procedural Level Generation Improves Generality of Deep Reinforcement Learning

Niels Justesen, Rubén Rodríguez Torrado+4 more|arXiv (Cornell University)|Jun 28, 2018

Reinforcement Learning in Robotics被引用 17

一句话总结

本文提出在训练过程中使用程序化关卡生成（PLG）以提升深度强化学习智能体在电子游戏中的泛化能力。通过在多样化、动态生成的关卡上训练智能体，该方法显著提升了其在未见过的关卡上的表现——尤其当结合自适应难度调节时效果更佳；同时，对生成器分布的分析表明，与人类设计关卡的相似性在很大程度上取决于生成器的设计。

ABSTRACT

Deep reinforcement learning (RL) has shown impressive results in a variety of domains, learning directly from high-dimensional sensory streams. However, when neural networks are trained in a fixed environment, such as a single level in a video game, they will usually overfit and fail to generalize to new levels. When RL models overfit, even slight modifications to the environment can result in poor agent performance. This paper explores how procedurally generated levels during training can increase generality. We show that for some games procedural level generation enables generalization to new levels within the same distribution. Additionally, it is possible to achieve better performance with less data by manipulating the difficulty of the levels in response to the performance of the agent. The generality of the learned behaviors is also evaluated on a set of human-designed levels. The results suggest that the ability to generalize to human-designed levels highly depends on the design of the level generators. We apply dimensionality reduction and clustering techniques to visualize the generators' distributions of levels and analyze to what degree they can produce levels similar to those designed by a human.

研究动机与目标

• 为解决在固定游戏关卡上训练的深度强化学习智能体出现的过拟合问题，该问题限制了其在新环境中的泛化能力。
• 探究在训练过程中使用程序化关卡生成是否能提升智能体在相同分布下未见关卡的泛化能力。
• 评估训练后智能体在人工设计关卡上的迁移性能，并理解生成器设计在该泛化过程中的作用。
• 通过降维和聚类分析生成关卡的分布，评估其与人工设计关卡的相似性。

提出的方法

• 在程序化生成的关卡上训练深度强化学习智能体，而非固定的静态关卡，以提升其鲁棒性和泛化能力。
• 实施自适应难度调度机制，根据智能体表现动态调整关卡生成策略，以优化数据效率和学习速度。
• 应用降维技术（如自编码器或t-SNE）可视化生成关卡的潜在空间，评估其多样性与覆盖范围。
• 使用聚类技术分析生成关卡的分布，并与人工设计关卡的聚类进行比较。
• 在程序化生成关卡和人工设计关卡上评估训练后智能体的性能，以衡量其零样本泛化能力。
• 设计具有不同结构和机制复杂度的关卡生成器，以评估其对泛化能力的影响。

实验结果

研究问题

• RQ1 在训练过程中使用程序化关卡生成，是否能提升深度强化学习智能体在同分布下新关卡的泛化能力？
• RQ2 在PLG过程中采用自适应难度调度，如何影响智能体的数据效率和最终性能？
• RQ3 在程序化关卡上训练的智能体在多大程度上能泛化到人工设计关卡？这种泛化能力在多大程度上取决于关卡生成器的设计？
• RQ4 通过聚类和降维方法衡量，程序化生成关卡的分布与人工设计关卡的分布在多大程度上相似？

主要发现

• 与在固定关卡上训练的智能体相比，在程序化关卡上训练的智能体在同分布的新关卡上表现出显著更强的泛化能力。
• 在训练过程中采用自适应难度调度可减少数据需求，并通过维持最优挑战水平来提升最终性能。
• 智能体对人工设计关卡的泛化能力高度依赖于关卡生成器的设计，部分生成器生成的关卡在结构和机制上更接近人工内容。
• 降维与聚类分析表明，仅部分生成器能生成在结构和机制上与人工设计关卡相似的关卡分布。
• 本研究发现，生成器设计直接影响智能体将知识迁移到人工关卡的能力，揭示了泛化过程中的一个关键瓶颈。