[论文解读] Procedural Content Generation via Generative Artificial Intelligence

Xinyu Mao, Wanli Yu+2 more|arXiv (Cornell University)|Jul 12, 2024

Artificial Intelligence in Law被引用 5

一句话总结

本综述回顾生成式AI，特别是GAN及相关模型，在视频游戏的过程性内容生成中的应用，覆盖环境、资产、叙事和音频，并讨论数据限制。

ABSTRACT

The attempt to utilize machine learning in PCG has been made in the past. In this survey paper, we investigate how generative artificial intelligence (AI), which saw a significant increase in interest in the mid-2010s, is being used for PCG. We review applications of generative AI for the creation of various types of content, including terrains, items, and even storylines. While generative AI is effective for PCG, one significant issues it faces is that building high-performance generative AI requires vast amounts of training data. Because content generally highly customized, domain-specific training data is scarce, and straightforward approaches to generative AI models may not work well. For PCG research to advance further, issues related to limited training data must be overcome. Thus, we also give special consideration to research that addresses the challenges posed by limited training data.

研究动机与目标

• 总结AI在PCG中的历史与现状，从基于规则和经典ML到生成式AI方法。
• 突出生成式AI在游戏内容类型（环境、资产、叙事和音频）中的应用。
• 讨论在特定领域的PCG中数据稀缺挑战以及缓解训练数据限制的方法。
• 为将生成式AI整合到游戏开发工作流中提供见解与未来方向。

提出的方法

• 对游戏中的内容类型进行分类，并将生成目标与可玩性、一致性与美学联系起来。
• 描述生成式AI的概念和模型，包括判别式与生成式框架以及GANs。
• 回顾基于GAN的PCG工作，覆盖2D关卡、3D地形、精灵、角色、叙事和音频。
• 总结在数据有限的情况下的训练示例研究，或使用多步与条件GAN架构的方法。
• 讨论数据与模型相关的挑战以及在生成式AI的PCG中可能的研究方向。

实验结果

研究问题

• RQ1 用于视频游戏过程性内容生成的主要生成式AI方法是什么？
• RQ2 GAN及相关生成模型如何应用于不同的PCG内容类型（环境、资产、叙事、音频）？
• RQ3 在训练生成式PCG系统时，实际挑战，尤其是数据稀缺性，及其应对方式？
• RQ4 哪些未来方向可以推动生成式AI在PCG工作流中的整合？

主要发现

• GANs和条件GANs可以从基于图像或特征表示的方式生成可玩性化的游戏关卡。
• 若干研究表明，潜在空间探索或多步GAN管线可控制关卡属性和可解性。
• 基于GAN的地形和资产生成可以利用真实世界数据或最小示例来实现逼真结果。
• 生成式AI通过AI驱动的代理和记忆/规划机制，使叙事和角色内容更加多样和动态。
• 数据集和数据效率仍然是核心挑战，推动了条件化、迁移学习和架构创新等在有限数据下工作的方法。