[论文解读] Using the Crowd to Generate Content for Scenario-Based Serious-Games

Sigal Sina, Sarit Kraus+1 more|arXiv (Cornell University)|Feb 20, 2014

Artificial Intelligence in Games参考文献 24被引用 4

一句话总结

本文提出一种基于众包的方法，可自动生成多样、连贯且可靠的场景内容，用于基于场景的严肃游戏，尤其适用于执法调查等培训应用。通过利用亚马逊机械 Turk（Amazon Mechanical Turk, AMT）构建日常活动及其变体的数据库，并采用 k-近邻（k-NN）算法与“填充并调整”方法进行内容生成，该方法生成的场景在可靠性上与人工创建或基于规划的替代方案相当，同时显著提升了可扩展性与多样性。

ABSTRACT

In the last decade, scenario-based serious-games have become a main tool for learning new skills and capabilities. An important factor in the development of such systems is the overhead in time, cost and human resources to manually create the content for these scenarios. We focus on how to create content for scenarios in medical, military, commerce and gaming applications where maintaining the integrity and coherence of the content is integral for the system's success. To do so, we present an automatic method for generating content about everyday activities through combining computer science techniques with the crowd. We use the crowd in three basic ways: to capture a database of scenarios of everyday activities, to generate a database of likely replacements for specific events within that scenario, and to evaluate the resulting scenarios. We found that the generated scenarios were rated as reliable and consistent by the crowd when compared to the scenarios that were originally captured. We also compared the generated scenarios to those created by traditional planning techniques. We found that both methods were equally effective in generated reliable and consistent scenarios, yet the main advantages of our approach is that the content we generate is more varied and much easier to create. We have begun integrating this approach within a scenario-based training application for novice investigators within the law enforcement departments to improve their questioning skills.

研究动机与目标

• 降低在执法、医疗保健和军事训练等领域的严肃游戏中，手动创建场景内容所耗费的高时间、高成本和高资源开销。
• 在为培训应用生成个性化、多样化场景时，保持内容的完整性与连贯性。
• 开发一种可扩展、低成本的替代方案，以取代传统基于规划的内容生成方法，适用于叙事驱动的培训系统。
• 评估众包生成的场景与原始内容及基于规划生成的内容在可信度和一致性方面的表现。
• 通过自动化场景生成，为新手调查员提供可重复、多样化的训练案例。

提出的方法

• 通过半结构化表单从亚马逊机械 Turk（AMT）工作者处收集现实世界中的日常活动场景，以确保一致性和数据质量。
• 构建场景中可替换事件的数据库，捕捉其叙事描述和潜在替换的统计属性。
• 应用 k-近邻（k-NN）算法，识别与上下文最匹配的事件替换，以保持场景完整性。
• 采用“填充并调整”方法，基于选定的替换项和用户档案，生成个性化、流畅的叙事描述。
• 使用 MaxSat 逻辑引擎，确保最终生成场景在逻辑上的一致性与连贯性。
• 通过额外的基于 AMT 的用户研究对生成内容进行验证与评估，由工作者在 6 分制量表上评分其真实性、连贯性和流畅性。

实验结果

研究问题

• RQ1 众包数据能否有效用于生成多样、连贯且可靠的严肃游戏场景内容？
• RQ2 与人工创建或基于规划的场景生成相比，众包生成的场景在可信度和一致性方面的质量如何？
• RQ3 所提出的方法在实现高内容多样性的同时，能在多大程度上保持场景完整性？
• RQ4 基于 k-NN 的替换选择在保持修改后场景的连贯性与真实感方面效果如何？
• RQ5 人类评估者是否认为生成的内容与原始内容或基于规划生成的内容具有同等的真实感与一致性？

主要发现

• AMT 工作者对众包生成场景的评分显示其可信度与一致性与原始场景无显著差异，真实性、连贯性和流畅性三项指标的平均分无显著差异。
• 基于 k-NN 的方法结合 SNACS（基于场景的叙事内容合成）优于随机替换，仅 7% 的用户在 KAR K=11 和 KAR K=1 方法中识别出生成的活动，而随机选择方法的识别率高达 61%。
• 基于 SNACS 的生成方法所生成的叙事，在评分上与原始方法和基于规划的方法无统计学差异，尤其在娱乐和日常事务类活动中表现更佳。
• SNACS-Best（SNACS-Bst）和 SNACS-Tag 变体的性能略优于 SNACS-Any，表明有针对性的选择优于随机匹配。
• 基于规划的方法虽有效，但成本显著更高、耗时更长，凸显了众包方法在可扩展性方面的优势。
• 随机变异（Rnd-SNACS 和 Rnd-Planner）的评分显著低于其他所有方法，p 值均低于 0.05，证实了结构化生成优于随机生成的重要性。