[论文解读] STAR-RT: Visual attention for real-time video game playing

Iuliia Kotseruba, John K. Tsotsos|arXiv (Cornell University)|Nov 26, 2017

Digital Image Processing Techniques参考文献 9被引用 3

一句话总结

STAR-RT 首次实现了 STAR 认知架构的实时应用，通过视觉注意机制和认知程序控制视觉系统以玩封闭源代码的视频游戏。它仅使用视觉输入即在实时环境中达到人类水平的表现，证明了该框架在复杂、动态视觉任务中的可行性。

ABSTRACT

In this paper we present STAR-RT - the first working prototype of Selective Tuning Attention Reference (STAR) model and Cognitive Programs (CPs). The Selective Tuning (ST) model received substantial support through psychological and neurophysiological experiments. The STAR framework expands ST and applies it to practical visual tasks. In order to do so, similarly to many cognitive architectures, STAR combines the visual hierarchy (based on ST) with the executive controller, working and short-term memory components and fixation controller. CPs in turn enable the communication among all these elements for visual task execution. To test the relevance of the system in a realistic context, we implemented the necessary components of STAR and designed CPs for playing two closed-source video games - Canabaltand Robot Unicorn Attack. Since both games run in a browser window, our algorithm has the same amount of information and the same amount of time to react to the events on the screen as a human player would. STAR-RT plays both games in real time using only visual input and achieves scores comparable to human expert players. It thus provides an existence proof for the utility of the particular CP structure and primitives used and the potential for continued experimentation and verification of their utility in broader scenarios.

研究动机与目标

• 开发一种生物上合理的、实时的视觉注意系统，能够在动态环境中控制复杂视觉任务。
• 在实际、现实的应用中验证结合了选择性调谐（ST）和认知程序（CPs）的 STAR 框架。
• 证明仅使用视觉输入的视觉系统可在实时视频游戏中实现与专家人类玩家相当的性能。
• 弥合视觉注意理论模型与实际、实时 AI 系统之间的差距，以应对动态、视觉信息丰富的任务。
• 为未来关于视觉注意、工作记忆和任务导向处理在视觉系统中的研究提供测试平台。

提出的方法

• 将视觉注意的选择性调谐（ST）模型适配至分层视觉系统，支持自上而下和自下而上的处理。
• 设计认知程序（CPs）作为可执行的、任务特定的例程，协调视觉层级、工作记忆和注视控制器。
• 实现双记忆架构，包含任务工作记忆（tWM）和视觉工作记忆（vWM），用于存储和管理物体与平台的位置。
• 使用外部函数计算帧间位移、跨帧匹配物体，并在动态场景中过滤误报。
• 应用中央凹化和注视控制以模拟人类注意力转移，将处理聚焦于感兴趣的区域。
• 将系统整合为单线程流水线，以满足实时约束，独立处理每一帧，同时在帧间保持状态。

实验结果

研究问题

• RQ1 STAR 认知架构结合视觉注意与任务导向的认知程序，能否在复杂视频游戏中实现实时性能？
• RQ2 选择性注意、工作记忆与执行控制的整合，在无游戏引擎访问权限的情况下，对实现自主游戏玩法的有效性如何？
• RQ3 当仅使用视觉输入时，该系统的表现与人类专家玩家的匹配程度如何？
• RQ4 在动态视觉条件下，工作记忆与注意调制在维持性能方面发挥何种作用？
• RQ5 来自真实摄像头画面的视觉伪影（如运动模糊、镜头畸变）如何影响系统的鲁棒性与性能？

主要发现

• STAR-RT 仅使用视觉输入即可实时运行 Canabalt 和 Robot Unicorn Attack，得分与人类专家玩家相当。
• 系统通过独立处理每一帧，并在视觉工作记忆和任务工作记忆中使用紧凑的状态化表示，维持了实时性能。
• 移除基于显著性的注意机制（如 AIM）会显著增加处理负载与错误率，证明其在过滤输入中的关键作用。
• 该框架通过帧间差分、物体匹配与误报排除，有效处理了动态刺激，即使在运动模糊与镜头畸变下仍具鲁棒性。
• 系统表现出类似人类注视的模式，表明其对人类视觉注意机制具有合理的模拟。
• 基于摄像头的输入引入了显著挑战，如重影、运动模糊与摩尔纹，导致性能相比截图输入有所下降。