[论文解读] The 2017 AIBIRDS Competition

Matthew Stephenson, Jochen Renz+2 more|arXiv (Cornell University)|Mar 14, 2018

Artificial Intelligence in Games参考文献 21被引用 4

一句话总结

本文介绍了2017年AIBIRDS竞赛，该竞赛要求AI智能体仅通过视觉输入解决未见过的基于物理的《愤怒的小鸟》关卡，以模拟现实世界中的物理推理。尽管深度强化学习取得了进展，但没有一个智能体达到人类水平的表现，凸显了需要整合视觉、规划与不确定性推理的综合AI方法。

ABSTRACT

This paper presents an overview of the sixth AIBIRDS competition, held at the 26th International Joint Conference on Artificial Intelligence. This competition tasked participants with developing an intelligent agent which can play the physics-based puzzle game Angry Birds. This game uses a sophisticated physics engine that requires agents to reason and predict the outcome of actions with only limited environmental information. Agents entered into this competition were required to solve a wide assortment of previously unseen levels within a set time limit. The physical reasoning and planning required to solve these levels are very similar to those of many real-world problems. This year's competition featured some of the best agents developed so far and even included several new AI techniques such as deep reinforcement learning. Within this paper we describe the framework, rules, submitted agents and results for this competition. We also provide some background information on related work and other video game AI competitions, as well as discussing some potential ideas for future AIBIRDS competitions and agent improvements.

研究动机与目标

• 通过创建一个智能体必须仅使用视觉输入解决未知《愤怒的小鸟》关卡的竞赛，推动物理推理领域的AI研究。
• 评估多样化AI技术（包括深度强化学习）在复杂、连续、基于物理环境中的有效性。
• 识别当前AI方法在不确定性推理和不完整状态信息下的局限性。
• 通过鼓励开源智能体设计和分享技术见解，促进合作与透明度。
• 通过易于访问的游戏化平台，向学生和研究人员展示现实世界AI挑战，以激发未来研究。

提出的方法

• 智能体需通过计算机视觉模块与物理引擎交互，该模块从游戏截图中提供物体边界和位置信息。
• 竞赛采用实时、限时的格式，智能体可多次重试关卡，并按任意顺序进行。
• 评分基于在时间限制内每关卡获得的最高分，最终排名由累计总分决定。
• 智能体无法访问内部游戏状态或物理参数，以模拟人类玩家的感知方式。
• 该框架支持多种AI技术，包括启发式搜索、知识表示和深度强化学习。
• 评估通过多轮淘汰赛进行，结果经分析以评估性能并识别智能体设计中的弱点。

实验结果

研究问题

• RQ1 现代AI技术（如深度强化学习）能否有效解决《愤怒的小鸟》中未见过的复杂物理益智关卡？
• RQ2 当前智能体在已知或标准关卡之外的泛化能力有多差？其失败原因是什么？
• RQ3 当智能体仅依赖视觉输入而无法访问内部物理参数时，其表现如何？
• RQ4 单一技术方法在物理推理任务中的关键局限性是什么？
• RQ5 未来竞赛如何能更好地识别并弥补AI在真实世界物理交互能力方面的差距？

主要发现

• 仅使用深度强化学习的智能体未能达到人类玩家的性能水平，表明当前深度强化学习在物理推理方面存在局限。
• 许多智能体对已知关卡类型出现过拟合，表明其在新颖或创意设计关卡上的泛化能力较差。
• 竞赛表明，即使先进的AI技术在不确定性推理和不完整状态信息下仍面临困难。
• 依赖传统规划与启发式搜索的智能体表现优于纯学习方法，尤其在复杂场景中。
• 结果强调了结合多种AI技术（如视觉、规划与推理）的必要性，而非依赖单一方法。
• 迫切需要更多样化、更具挑战性、对人类简单但对计算机困难的关卡，以更好地评估和提升智能体能力。