[论文解读] The state of play of ASC-Inclusion: An Integrated Internet-Based Environment for Social Inclusion of Children with Autism Spectrum Conditions

Björn W. Schuller, Erik Marchi+5 more|arXiv (Cornell University)|Mar 24, 2014

Autism Spectrum Disorder Research参考文献 46被引用 24

一句话总结

本论文提出ASC-Inclusion，一种基于互联网的严肃游戏平台，旨在通过整合面部表情、语音语调和身体动作的分析，训练自闭症谱系障碍（ASC）儿童的情绪识别与表达能力，从而提升其社会包容性。该系统在虚拟环境中使用经验证的刺激材料和多模态反馈，早期评估显示其在通过互动、可定制的游戏方式提升5至10岁儿童的社会情感技能方面具有潜力。

ABSTRACT

Individuals with Autism Spectrum Conditions (ASC) have marked difficulties using verbal and non-verbal communication for social interaction. The running ASC-Inclusion project aims to help children with ASC by allowing them to learn how emotions can be expressed and recognised via playing games in a virtual world. The platform includes analysis of users' gestures, facial, and vocal expressions using standard microphone and web-cam or a depth sensor, training through games, text communication with peers, animation, video and audio clips. We present the state of play in realising such a serious game platform and provide results for the different modalities.

研究动机与目标

• 解决自闭症谱系障碍（ASC）儿童在情绪识别与表达方面面临的社会沟通挑战。
• 开发一个集成的、基于互联网的平台，结合多模态情绪分析（面部、语音、动作）与互动游戏，实现针对性的社会技能训练。
• 创建一个经过科学验证、以用户为中心的环境，适用于家庭使用，支持自闭症儿童的早期干预与长期技能发展。
• 通过结构化的随机对照临床试验，评估平台的有效性，使用经验证的情绪刺激材料和用户反馈。
• 通过在可预测的数字环境中提供安全、可重复且具激励性的社会情感沟通练习，促进社会包容。

提出的方法

• 该平台集成了三个核心子系统：使用维度情绪模型（唤醒度与效价）的面部表情分析器、处理语音语调的语音分析器，以及检测动作模式的身体动作分析器。
• 情绪识别训练使用了496张经验证的面部表情刺激、82种身体动作刺激和95段社交场景视频片段，所有材料均由专业演员录制，并由每项刺激的60名典型发育儿童进行评分。
• 语音分析基于20名儿童（10名自闭症儿童，10名神经发育正常儿童）在英语、希伯来语和瑞典语中录制的情绪短语开发而成，嵌入情境故事中以激发真实的情绪表达。
• 系统采用ActiveMQ实现子系统间的消息传递，支持将多模态数据实时整合到游戏引擎中。
• 内容创建过程包括对家长和成年人的情绪调查，以识别20种关键情绪（如快乐、愤怒、悲伤、自豪）纳入平台，仅选择识别正确率超过50%的刺激材料。
• 平台支持文本聊天、动画角色和视频/音频回放，以模拟真实社交互动，课程与游戏设计旨在强化情绪识别与表达能力。

实验结果

研究问题

• RQ1 一个集成的、基于互联网的平台是否能有效通过面部、语音和动作模态训练自闭症谱系障碍儿童识别和表达情绪？
• RQ2 与单模态或静态图像方法相比，使用多模态刺激训练时，自闭症儿童在情绪识别任务中的表现如何？
• RQ3 该平台的互动式、游戏化方法在多大程度上提升了自闭症儿童的社会情感技能，并促进其在现实社交互动中的泛化能力？
• RQ4 英语、希伯来语和瑞典语等文化多样性的语音录音对自闭症儿童情绪识别准确率有何影响？
• RQ5 与传统教学工具相比，实时多模态反馈的整合在多大程度上提升了自闭症儿童的学习效果？

主要发现

• 平台成功通过标准化通信协议和ActiveMQ消息传递机制，将面部、语音和动作分析三个子系统整合到统一的游戏环境中。
• 在20种被认定为社交互动关键的情绪中，仅包含识别正确率经随机校正后超过50%的情绪，确保了刺激材料的高有效性。
• 共验证了496张面部表情、82种身体动作和95段社交场景，每项刺激均获得至少50%的60名评分者的一致认可，证实了内容的可靠性。
• 语音分析模块通过螺旋式开发流程进行优化，并在焦点小组中完成评估，现已采用新的语音表达评估系统。
• 动作分析器通过改进的特征提取与情绪识别模块得到增强，实现了与平台的实时集成。
• 基于多模态反馈开发了互动训练课程与情绪表达游戏，有效支持了5至10岁自闭症儿童的参与度与技能习得。