[论文解读] Testing match-3 video games with Deep Reinforcement Learning

Nicholas Napolitano|arXiv (Cornell University)|Jun 30, 2020

Artificial Intelligence in Games参考文献 13被引用 4

一句话总结

本文提出使用双-stream深度Q网络（DDQN）来自动化匹配三消视频游戏的测试，证明该智能体通过提取视觉特征并选择最优步法，能够有效学习玩《Jelly Juice》。DDQN的表现优于随机玩家，并在多个关卡中接近人类的成功率，展现出强大的适应能力与渐进式学习能力。

ABSTRACT

Testing a video game is a critical step for the production process and requires a great effort in terms of time and resources spent. Some software houses are trying to use the artificial intelligence to reduce the need of human resources using systems able to replace a human agent. We study the possibility to use the Deep Reinforcement Learning to automate the testing process in match-3 video games and suggest to approach the problem in the framework of a Dueling Deep Q-Network paradigm. We test this kind of network on the Jelly Juice game, a match-3 video game developed by the redBit Games. The network extracts the essential information from the game environment and infers the next move. We compare the results with the random player performance, finding that the network shows a highest success rate. The results are in most cases similar with those obtained by real users, and the network also succeeds in learning over time the different features that distinguish the game levels and adapts its strategy to the increasing difficulties.

研究动机与目标

• 开发一种基于深度强化学习的自动化合成玩家，用于匹配三消游戏。
• 评估深度强化学习智能体是否能在游戏过程中模拟类人行为。
• 评估双流深度Q网络在《Jelly Juice》不同难度关卡中学习最优策略的有效性。
• 比较DDQN智能体与随机玩家及真实人类玩家在成功率方面的表现。

提出的方法

• 本研究采用双流深度Q网络（DDQN）处理视觉游戏状态并选择最优动作。
• 卷积神经网络从原始游戏画面中提取特征，使智能体能够理解游戏环境。
• 经验回放记忆存储过往经验，以提升训练稳定性和样本效率。
• 网络采用双Q学习更新规则，以减少Q值预测中的过度估计偏差。
• 监督学习模块用于过滤非法动作，并在动作选择前对动作概率进行归一化。
• 训练基于自定义的游戏配置与步法数据集进行，超参数经调优以实现收敛。

实验结果

研究问题

• RQ1 双流深度Q网络是否能在极少人工干预的情况下，有效学习玩《Jelly Juice》这类匹配三消游戏？
• RQ2 DDQN智能体在不同关卡中的表现与随机玩家及真实人类玩家相比如何？
• RQ3 DDQN智能体是否能随时间推移调整策略，以应对关卡复杂度的提升？
• RQ4 DDQN在多大程度上能够复现人类玩家的决策模式？

主要发现

• 在第1关，DDQN智能体的成功率达到91.3%，显著高于随机玩家的65%。
• 在第21关，DDQN成功率达到74%，高于随机玩家的54%，接近人类玩家的94.7%。
• 在最复杂的关卡（第505关），DDQN成功率达到9.33%，超过随机玩家的0%，并接近人类表现（13.05%）。
• 智能体约需150场游戏才能稳定表现，显示出渐进式学习与对关卡特异性挑战的适应能力。
• DDQN在大多数关卡中表现出与人类玩家相似的行为，尤其在动作选择与战略规划方面。
• 该系统在高复杂度关卡中仍表现出强鲁棒性，表明其在其他匹配三消游戏中也具备潜在泛化能力。