[论文解读] The Game Imitation: Deep Supervised Convolutional Networks for Quick Video Game AI

Chen Zhao, Darvin Yi|arXiv (Cornell University)|Feb 18, 2017

Artificial Intelligence in Games参考文献 10被引用 13

一句话总结

该论文提出了一种轻量级、有监督的深度卷积神经网络（CNN），仅使用N64平台《Super Smash Bros.》的视觉输入，模仿人类游戏行为，实现了在30类动作分类任务中80%的top-1准确率和96%的top-3准确率。尽管训练量极少（仅2个周期），该模型在与游戏最高难度AI的对比中表现具有竞争力，通过帧序列的后期融合实现了有效的时序推理和泛化能力。

ABSTRACT

We present a vision-only model for gaming AI which uses a late integration deep convolutional network architecture trained in a purely supervised imitation learning context. Although state-of-the-art deep learning models for video game tasks generally rely on more complex methods such as deep-Q learning, we show that a supervised model which requires substantially fewer resources and training time can already perform well at human reaction speeds on the N64 classic game Super Smash Bros. We frame our learning task as a 30-class classification problem, and our CNN model achieves 80% top-1 and 95% top-3 validation accuracy. With slight test-time fine-tuning, our model is also competitive during live simulation with the highest-level AI built into the game. We will further show evidence through network visualizations that the network is successfully leveraging temporal information during inference to aid in decision making. Our work demonstrates that supervised CNN models can provide good performance in challenging policy prediction tasks while being significantly simpler and more lightweight than alternatives.

研究动机与目标

• 开发一种快速、资源高效的AI，用于复杂电子游戏，仅依赖视觉输入和人类示范。
• 评估纯有监督CNN是否能在无需强化学习或奖励塑造的情况下实现具有竞争力的游戏表现。
• 研究模型在未见游戏状态下的泛化能力，以及其在视频序列中利用时序信息的能力。
• 评估该方法在不同游戏（如《Mario Tennis》）中的可移植性和鲁棒性。
• 探讨视觉基电子游戏AI中，有监督模仿学习的局限性，特别是时序推理和色彩敏感性方面的问题。

提出的方法

• 该模型采用后期融合的CNN架构，处理128×128像素的游戏帧序列，以预测类人操作的按键输入。
• 动作预测被建模为一个30分类问题，网络通过人类记录的按键数据端到端训练，使用交叉熵损失函数。
• 通过输入连续帧（每帧间隔1/6秒）来引入时序上下文，使模型能够对短时间内的运动和目标追踪进行建模。
• 模型采用softmax输出层，生成动作的概率分布，从而支持预测的不确定性分析。
• 通过显著性图等网络可视化技术，分析推理过程中特征学习与时序推理的表现。
• 该方法在《Super Smash Bros.》和《Mario Tennis》上进行了测试，并对模型架构与数据预处理进行了消融研究。

实验结果

研究问题

• RQ1 纯有监督CNN模型能否仅使用视觉输入，在复杂3D电子游戏中实现人类级别的反应速度和具有竞争力的游戏表现？
• RQ2 尽管训练数据集有限，该有监督模仿学习模型在未见游戏状态下的泛化能力有多强？
• RQ3 该模型在动态游戏环境中，多大程度上有效利用了序列帧中的时序信息以提升决策能力？
• RQ4 该方法的主要局限性是什么，特别是关于色彩依赖性以及在游戏中的长期目标追踪能力？
• RQ5 与简单的网络架构（如原始AlexNet）相比，后期融合CNN在策略丰富性和鲁棒性方面表现如何？

主要发现

• 该模型在《Super Smash Bros.》的30类动作预测任务中，实现了80%的top-1准确率和96%的top-3准确率。
• 仅经过2天共2个周期的训练，该模型在实时模拟中与游戏最高难度CPU AI相比表现具有竞争力。
• 显著性图可视化结果证实，网络有效利用了时序信息，如随时间跟踪角色位置和运动轨迹。
• 该模型通过学习相对角色位置和地图边界的空域特征，实现了对未见游戏状态的泛化能力。
• 尽管在《Super Smash Bros.》中表现优异，该模型在《Mario Tennis》中的迁移能力有限，表明跨游戏可移植性存在挑战。
• 该模型的性能对色彩调色板敏感，由于学习特征中存在强烈的色彩耦合，导致在不同地图和角色间泛化能力较差。