[论文解读] Using Fractal Neural Networks to Play SimCity 1 and Conway's Game of Life at Variable Scales

Sam Earle|arXiv (Cornell University)|Jan 29, 2020

Cellular Automata and Applications参考文献 7被引用 9

一句话总结

本文提出了一种名为 gym-city 的强化学习环境，基于 Micropolis（一个开源的 SimCity 1 克隆版）来训练智能体，以在不同地图尺寸下优化城市人口。该研究提出使用具有递归和权重重用结构的分形神经网络，实现与尺度无关的策略学习，在 SimCity 1 和 Conway 的游戏（Game of Life）中均优于标准卷积基线模型。

ABSTRACT

We introduce gym-city, a Reinforcement Learning environment that uses SimCity 1's game engine to simulate an urban environment, wherein agents might seek to optimize one or a combination of any number of city-wide metrics, on gameboards of various sizes. We focus on population, and analyze our agents' ability to generalize to larger map-sizes than those seen during training. The environment is interactive, allowing a human player to build alongside agents during training and inference, potentially influencing the course of their learning, or manually probing and evaluating their performance. To test our agents' ability to capture distance-agnostic relationships between elements of the gameboard, we design a minigame within the environment which is, by design, unsolvable at large enough scales given strictly local strategies. Given the game engine's extensive use of Cellular Automata, we also train our agents to "play" Conway's Game of Life -- again optimizing for population -- and examine their behaviour at multiple scales. To make our models compatible with variable-scale gameplay, we use Neural Networks with recursive weights and structure -- fractals to be truncated at different depths, dependent upon the size of the gameboard.

研究动机与目标

• 开发一种强化学习环境，使智能体能够在城市模拟中针对不同地图尺寸优化城市人口。
• 探究具有递归和权重重用结构的分形神经网络是否能够学习在不同尺度的城市和细胞自动机环境中泛化策略。
• 评估分层、深度可变的神经架构在捕捉空间复杂模拟中全局、距离无关关系方面的有效性。
• 探索在训练和推理过程中的人机交互如何影响智能体策略学习与性能。

提出的方法

• 作者创建了 gym-city，一个基于 Micropolis 的自定义强化学习环境，可模拟 SimCity 1 的游戏引擎，并支持可变尺寸的游戏棋盘。
• 智能体在每一步观察整个游戏棋盘，并可对任意方格采取行动，从而实现具有完整状态可见性的全局策略学习。
• 分形神经网络通过递归权重重用和分层深度实现，使同一核心模块可根据地图尺寸在不同深度被截断。
• 该架构包含严格卷积（StrictlyConv）、全卷积（FullyConv）以及具有列内和列间权重重用的分形模块，用于消融实验与对比。
• 该环境支持人机协同交互：人类操作被排队并作为训练期间的智能体动作处理，从而实现混合学习。
• 模型在 SimCity 1 和 Conway 的游戏（Game of Life）中均以最大化人口为目标进行训练，性能在多种地图尺寸（如 16×16、32×32、64×64）下进行评估。

实验结果

研究问题

• RQ1 具有递归和权重重用结构的分形神经网络是否能在城市模拟和细胞自动机环境中实现对可变地图尺寸的策略泛化？
• RQ2 策略网络的感受野大小如何影响需要非局部、全局策略的任务中的性能表现？
• RQ3 在交互式模拟环境中，训练期间的人类操作在多大程度上能够影响或塑造智能体的策略？
• RQ4 与独立训练子网络相比，分形网络列之间的权重重用是否能提升泛化能力和性能表现？
• RQ5 一个极简且高度参数高效的架构（例如，单层递归重复）是否能与更大规模的标准卷积网络在空间推理任务中表现相当或更优？

主要发现

• StrictlyConv 在 SimCity 1 和 Game of Life 中始终与 FullyConv 表现相当或更优，表明其递归且参数高效的结构有助于提升泛化能力。
• 具有列内与列间权重重用的 8 层分形列在 Game of Life 中优于 FullyConv，表明更大的感受野有助于提升全局任务的性能。
• 仅具有一到两层的分形网络表现最差，表明浅层感受野不足以捕捉复杂的空间动态。
• 当在更大棋盘上降低初始人口时，智能体能够成功调整其策略，表明高局部活动可能抑制有效的全局规划。
• 当人类玩家在智能体结构附近建造时，通常会立即触发智能体的响应，表明智能体能够自适应地响应外部干预。
• 在分形模块中使用权重重用可在保持竞争力性能的同时显著减少参数量，表明 learned spatial patterns 被高效复用。