[论文解读] Navigating the Landscape of Games.

Shayegan Omidshafiei, Karl Tuyls+10 more|arXiv (Cornell University)|May 4, 2020

Reinforcement Learning in Robotics参考文献 69被引用 4

一句话总结

本文提出一种基于网络的框架，利用响应图映射游戏的景观，量化其相对复杂性和相互关系。通过将网络度量应用于这些图，该方法能够自动发现新的、有趣的游戏中，包括混合型经验游戏，同时引导人工智能训练朝向更具挑战性和多样性的环境发展。

ABSTRACT

Games are traditionally recognized as one of the key testbeds underlying progress in artificial intelligence (AI), aptly referred to as the Drosophila of AI. Traditionally, researchers have focused on using games to build strong AI agents that, e.g., achieve human-level performance. This progress, however, also requires a classification of how 'interesting' a game is for an artificial agent. Tackling this latter question not only facilitates an understanding of the characteristics of learnt AI agents in games, but also helps to determine what game an AI should address next as part of its training. Here, we show how network measures applied to so-called response graphs of large-scale games enable the creation of a useful landscape of games, quantifying the relationships between games of widely varying sizes, characteristics, and complexities. We illustrate our findings in various domains, ranging from well-studied canonical games to significantly more complex empirical games capturing the performance of trained AI agents pitted against one another. Our results culminate in a demonstration of how one can leverage this information to automatically generate new and interesting games, including mixtures of empirical games synthesized from real world games.

研究动机与目标

• 为解决人工智能研究中游戏'趣味性'缺乏系统分类的问题，该问题阻碍了最优训练环境的选择。
• 开发一种可扩展的方法，以量化游戏的结构和关系复杂性，无论其规模或领域如何。
• 通过分析现有游戏之间的关系并利用网络拓扑，实现新颖且非平凡游戏的自动化生成。
• 提供一个框架，支持人工智能智能体逐步过渡到更复杂和多样的游戏环境中。

提出的方法

• 从游戏中构建响应图，其中节点表示游戏状态，边表示它们之间的有效转换。
• 应用网络科学度量方法——如聚类系数、介数中心性及路径长度——以量化响应图的结构特性。
• 利用这些网络度量将游戏嵌入共享向量空间，从而基于拓扑相似性实现游戏的比较与聚类。
• 利用生成的游戏景观识别结构瓶颈和高复杂度区域，以针对性地指导人工智能训练。
• 通过组合多个源游戏的结构特征（特别是来自训练人工智能智能体的实证游戏）来生成新游戏。
• 在经典游戏和真实世界的人工智能对战实证游戏中验证该方法，以证明其可扩展性和泛化能力。

实验结果

研究问题

• RQ1 如何通过响应图上的网络度量系统性地量化游戏的结构复杂性？
• RQ2 游戏之间的关系在共享拓扑景观中能在多大程度上被捕捉并可视化？
• RQ3 该景观能否用于识别对人工智能智能体而言特别具有挑战性或新颖性的游戏？
• RQ4 该框架能否通过组合现有游戏的结构特征，自动生成新的、非平凡的游戏？
• RQ5 该景观如何指导为渐进式人工智能训练选择合适的游戏？

主要发现

• 对响应图应用网络度量能有效捕捉不同规模和领域游戏中游戏复杂性和结构的有意义差异。
• 由此生成的游戏景观揭示了基于拓扑相似性的自然游戏分组，支持游戏的分类与比较。
• 高度复杂的游戏——尤其是聚类系数高且路径长度短的游戏——往往对人工智能智能体更具挑战性，这一结论得到了性能趋势的支持。
• 该框架能够通过组合现有游戏（包括人工智能智能体竞赛中产生的实证游戏）的结构特征，自动合成新游戏。
• 该景观为选择能最大化人工智能训练多样性与挑战性的游戏提供了可操作的见解，支持智能体的渐进式发展。
• 该方法在经典游戏和复杂实证游戏中均表现出泛化能力，证明了其稳健性与可扩展性。