[论文解读] Steps towards prompt-based creation of virtual worlds

Jasmine Roberts, Andrzej Banburski-Fahey+1 more|arXiv (Cornell University)|Nov 10, 2022

Artificial Intelligence in Games被引用 6

一句话总结

本文提出利用类似 Codex 的大型语言模型，实现在 VR 内直接通过提示词实时创建交互式虚拟世界，展示了在 Codex VR Pong 中非确定性的游戏玩法，其中自然语言提示可动态将 3D 物体转化为语义一致且可交互的实体（例如，将球变为撞击后会煎熟的蛋）。其主要贡献在于表明生成式 AI 可从游戏开发转向游戏玩法，使自发性、共同创作的 VR 体验成为可能，并实现涌现式交互。

ABSTRACT

Large language models trained for code generation can be applied to speaking virtual worlds into existence (creating virtual worlds). In this work we show that prompt-based methods can both accelerate in-VR level editing, as well as can become part of gameplay rather than just part of game development. As an example, we present Codex VR Pong which shows non-deterministic game mechanics using generative processes to not only create static content but also non-trivial interactions between 3D objects. This demonstration naturally leads to an integral discussion on how one would evaluate and benchmark experiences created by generative models - as there are no qualitative or quantitative metrics that apply in these scenarios. We conclude by discussing impending challenges of AI-assisted co-creation in VR.

研究动机与目标

• 探索大型语言模型如何通过支持自然语言驱动的在 VR 内场景生成，加速并转变 VR 内容创作。
• 研究类似 Codex 的代码生成型 LLM 如何集成到游戏引擎中，实现实时、交互式的场景构建。
• 证明基于提示词的 AI 生成可成为核心游戏机制，而不仅限于开发工具。
• 识别在具有开放性、涌现式交互的 AI 共同创作虚拟世界中所面临的工程技术挑战与评估空白。
• 构想 AI 共同创作在 VR 中的未来应用，包括动态环境与用户赋能的自发性世界构建。

提出的方法

• 将 OpenAI Codex 与 Unity 游戏引擎集成，将自然语言提示转换为可执行代码，用于 3D 物体的创建与交互。
• 使用基于提示词的生成技术，动态将游戏物体（如球拍和球）转变为具有语义合理物理行为的任意 3D 实体。
• 实现类似 Holodeck 的系统，从自然语言描述生成完整的虚拟环境。
• 通过 AI 生成的对象模型，扩展用户交互，实现实时将用户的手转化为工具。
• 通过结合文本到代码（Codex）与文本到 3D（如 DreamFusion 风格）模型，利用多模态能力实现更丰富的场景生成。
• 设计反馈回路，使生成内容在实时 VR 中测试，支持提示词与交互的迭代优化。

实验结果

研究问题

• RQ1 大型语言模型能否在实时 VR 环境中直接生成交互式 3D 场景与行为？
• RQ2 如何将基于提示词的 AI 生成集成到游戏机制中，以实现 AI 创建物体之间的非确定性、涌现式交互？
• RQ3 在将代码生成型 LLM 与实时游戏引擎结合用于 VR 内容创作时，会面临哪些技术挑战？
• RQ4 当传统指标因输出具有开放性与创造性而失效时，如何评估 AI 生成的 VR 体验质量？
• RQ5 当用户能够‘口述’虚拟世界使其成形时，哪些新型用户交互与共同创作模式成为可能？

主要发现

• 作者成功实现了 Codex VR Pong，一款 VR 游戏，其中自然语言提示可将球拍与球动态转化为具有语义意义交互方式的任意 3D 物体，例如蛋在锅上煎熟。
• 该系统表明 LLM 可实现非预编程的、涌现式的非确定性游戏机制，展示了自发的 AI 共同创作。
• 技术挑战包括模型推理延迟、提示词优化的反馈回路、动画的自动化，以及可靠 3D 模型仓库的选择。
• 本文指出，对 AI 生成的 VR 体验缺乏客观评估指标，尤其当内容与规则可变且开放时。
• 作者提出评估可能依赖于定性用户反馈或基于 LLM 的播放会话创造力评分，但目前尚无标准化基准。
• 该工作表明，未来系统必须结合文本到代码（Codex）与文本到 3D（如 DreamFusion）模型，才能实现在 VR 世界构建中的完全生成灵活性。