[论文解读] Toward Foraging for Understanding of StarCraft Agents: An Empirical Study

Sean Penney, Jonathan Dodge+4 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling被引用 6

一句话总结

本研究应用信息觅食理论（Information Foraging Theory）以理解资深《星际争霸》玩家如何在即时战略游戏中实时评估AI智能体的信息获取行为。研究揭示了由于线索碎片化和决策复杂性高，导致认知、导航与信息获取成本显著增加，凸显了在复杂动态领域中可解释AI系统设计的关键需求。

ABSTRACT

Assessing and understanding intelligent agents is a difficult task for users that lack an AI background. A relatively new area, called "Explainable AI," is emerging to help address this problem, but little is known about how users would forage through information an explanation system might offer. To inform the development of Explainable AI systems, we conducted a formative study, using the lens of Information Foraging Theory, into how experienced users foraged in the domain of StarCraft to assess an agent. Our results showed that participants faced difficult foraging problems. These foraging problems caused participants to entirely miss events that were important to them, reluctantly choose to ignore actions they did not want to ignore, and bear high cognitive, navigation, and information costs to access the information they needed.

研究动机与目标

• 探究领域专家（资深《星际争霸》玩家）在即时战略游戏中如何觅食信息以理解并评估AI智能体。
• 识别用户在无法访问模型内部结构的情况下评估AI行为时的信息需求、觅食路径与决策挑战。
• 揭示在《星际争霸》等动态、部分可观测环境中信息获取所面临的认知与导航成本。
• 基于信息觅食理论的理论基础，为可解释AI系统的设计提供依据，尤其针对需要高风险决策评估的领域。
• 揭示系统性问题，如“碎片化猎物”（Prey in Pieces）与“规模扩大”（Scaling Up），这些问题是有效信息获取与心智模型构建的主要障碍。

提出的方法

• 对资深《星际争霸》玩家开展前期用户研究，分析AI与人类对战的录像文件。
• 以信息觅食理论（IFT）作为理论框架，分析参与者在导航、决策点与线索利用方面的行为。
• 在受控环境中使用匿名化录像与交互工具（如快退、快进、地图导航、生产追踪）模拟真实的AI评估任务。
• 收集并分析参与者行为、停顿、路径选择及报告的推理过程的定性与观察数据。
• 将参与者的信息获取行为映射至IFT构念：猎物（信息目标）、线索（路标）、路径（导航路线）与决策成本。
• 通过视频与日志分析，识别误导性线索（distractor cues）、路径选择权衡与认知负荷的模式。

实验结果

研究问题

• RQ1 领域专家寻求何种信息？他们如何提问？出于何种原因？（RQ1：猎物）
• RQ2 领域专家在觅食过程中遵循哪些路径？为何选择这些路径？其成本如何？（RQ2：觅食路径）
• RQ3 领域专家认为哪些决策点最为关键？哪些线索导致他们偏离这些关键点？（RQ3：决策与线索）

主要发现

• 尽管对某些关键事件（如侦察或扩张决策）表现出明确兴趣，参与者仍因认知与导航成本过高而频繁遗漏这些信息。
• “碎片化猎物”问题凸显：用户需手动整合分布在多个界面元素中的智能体决策证据，导致不确定性与额外努力增加。
• 误导性线索（如可见战斗或单位移动）常使参与者偏离关键但视觉不显著的信息，如生产队列或扩张时机。
• “规模扩大”问题主要体现在广度而非深度：参与者面临众多潜在信息路径选择，却难以预测其价值或成本。
• 认知、导航与信息成本均较高，且常相互权衡，导致无法调查所有期望的决策点。
• 尽管可使用快退与地图导航等工具，参与者仍报告难以基于碎片化与延迟的信息获取形成对智能体策略的准确心智模型。