[论文解读] Towards Automated Video Game Testing: Still a Long Way to Go

Cristiano Politowski, Yann‐Gaël Guéhéneuc+1 more|arXiv (Cornell University)|Feb 25, 2022

Artificial Intelligence in Games被引用 4

一句话总结

本研究探讨了自动化视频游戏测试领域的学术研究与工业界从业者需求之间的差距，发现开发者对使用AI代理进行测试仍持怀疑态度，主要原因是工作流程 disruption 和高昂的前期成本。尽管研究兴趣持续上升，但多数解决方案仍优先考虑机器学习模型的性能，而非实际的测试目标，凸显了对轻量化、非侵入性工具的迫切需求，这些工具应聚焦于测试目标和测试oracle。

ABSTRACT

As the complexity and scope of game development increase, playtesting remains an essential activity to ensure the quality of video games. Yet, the manual, ad-hoc nature of playtesting gives space to improvements in the process. In this study, we investigate gaps between academic solutions in the literature for automated video game testing and the needs of video game developers in the industry. We performed a literature review on video game automated testing and applied an online survey with video game developers. The literature results show a rise in research topics related to automated video game testing. The survey results show that game developers are skeptical about using automated agents to test games. We conclude that there is a need for new testing approaches that did not disrupt the developer workflow. As for the researchers, the focus should be on the testing goal and testing oracle.

研究动机与目标

• 识别自动化视频游戏测试学术研究与实际开发者需求之间的脱节。
• 从实际游戏开发者的角度，评估学术解决方案的吸引力、可行性与可实施性。
• 理解尽管研究兴趣持续增长，为何基于AI的自动化测试代理尚未被采纳。
• 识别关键障碍，如工作流程 disruption、高昂的开发成本以及缺乏通用工具。
• 引导未来研究朝向聚焦于测试目标和测试oracle、面向开发者友好、实用的测试方法。

提出的方法

• 对166篇关于自动化视频游戏测试的文献进行了综述，筛选出53个有前景的解决方案。
• 基于其在自动化测试中的相关性与创新性，从学术解决方案中选取了七个代表性方案进行评估。
• 设计并部署了一项在线调查，面向游戏开发者（包括设计师和管理者），以评估这七个方案。
• 调查问题聚焦于吸引力、可行性与可实施性，简化技术细节以提升开发者理解度。
• 采用定性与定量分析方法解读调查反馈，并识别出反复出现的担忧。
• 通过承认响应率较低及受访者技术专长有限等潜在偏差，加以应对。

实验结果

研究问题

• RQ1 学术界在自动化视频游戏测试方面的解决方案与实际游戏开发者的需求相比如何？
• RQ2 哪些关键障碍阻碍了游戏开发者采纳基于AI的自动化测试代理？
• RQ3 开发者在多大程度上认为学术解决方案在现实中具有可行性、可行性和吸引力？
• RQ4 工作流程 disruption 和前期开发成本在多大程度上影响了自动化测试工具的采纳？
• RQ5 在未来的自动化视频游戏测试研究中，测试目标和测试oracle应扮演何种角色？

主要发现

• 近年来，自动化视频游戏测试领域的学术研究显著增长，特别是以机器学习驱动的测试方法。
• 大多数学术解决方案优先考虑机器学习模型的性能，而非实际的测试目标，如缺陷检测或游戏性质量。
• 游戏开发者对使用AI代理进行测试持怀疑态度，认为其成本高、耗时长，且会破坏现有工作流程。
• 独立开发者和小型工作室认为，所评估的七个解决方案均不适用，原因在于设置和定制成本过高。
• 受访者强烈呼吁开发开源、通用的测试工具，能够直接与Unreal Engine等游戏引擎集成。
• 尽管AI技术不断进步，开发者仍认为人类判断在评估趣味性、一致性和可用性方面至关重要，而这些任务目前AI尚无法有效复制。