[论文解读] Real-time Automatic Emotion Recognition from Body Gestures

Stefano Piana, Alessandra Staglianò+3 more|arXiv (Cornell University)|Feb 20, 2014

Human Pose and Action Recognition参考文献 22被引用 56

一句话总结

本文提出了一种基于3D运动数据的实时全身动作情绪识别系统。系统从骨骼序列中提取姿势、运动学和几何特征，并使用多类SVM进行情绪分类，在六种情绪识别任务中达到61.3%的准确率，与人类表现（61.9%）非常接近，并在专业动作捕捉系统和低成本Kinect传感器上均得到验证。

ABSTRACT

Although psychological research indicates that bodily expressions convey important affective information, to date research in emotion recognition focused mainly on facial expression or voice analysis. In this paper we propose an approach to realtime automatic emotion recognition from body movements. A set of postural, kinematic, and geometrical features are extracted from sequences 3D skeletons and fed to a multi-class SVM classifier. The proposed method has been assessed on data acquired through two different systems: a professionalgrade optical motion capture system, and Microsoft Kinect. The system has been assessed on a "six emotions" recognition problem, and using a leave-one-subject-out cross validation strategy, reached an overall recognition rate of 61.3% which is very close to the recognition rate of 61.9% obtained by human observers. To provide further testing of the system, two games were developed, where one or two users have to interact to understand and express emotions with their body.

研究动机与目标

• 开发一种用于从身体动作中实现自动情绪识别的实时系统，解决身体语言在情感计算中研究不足的问题。
• 通过从3D运动数据中提取具有行为意义的特征，弥合情绪表达的心理学理论与机器学习之间的差距。
• 在高精度动作捕捉系统和低成本RGB-D传感器（如Microsoft Kinect）上评估系统的性能。
• 将情绪识别模块集成到针对自闭症谱系障碍儿童的严肃游戏中，以提升其情绪表达与识别能力。
• 通过特征提取与分类流水线实现实时反馈，应用于交互式应用。

提出的方法

• 系统从动作捕捉设备或RGB-D摄像头（如Kinect）中提取3D骨骼数据，实时表示全身动作。
• 计算一组受心理学启发的特征——包括姿势、运动学和几何特征，涵盖躯干运动、手臂动作、速度、力量和方向等。
• 将特征在时间上整合为每个动作或动作片段的特征向量，以表征情绪内容。
• 训练一个多类支持向量机（SVM）分类器，用于识别六种基本情绪：快乐、愤怒、悲伤、恐惧、厌恶和惊讶。
• 系统使用EyesWeb XMI平台实现，以支持实时特征提取与反馈生成。
• 采用留一被试者交叉验证策略，在专业与消费级传感器的数据上评估性能。

实验结果

研究问题

• RQ1 仅靠身体动作是否足以实现准确的实时自动情绪识别？
• RQ2 基于身体动作的自动化系统在相同任务上的表现与人类识别准确率相比如何？
• RQ3 与专业动作捕捉系统相比，低成本RGB-D传感器（如Microsoft Kinect）在多大程度上能够支持可靠的情绪识别？
• RQ4 基于情绪表达心理学模型提取的特征集，是否能有效捕捉身体动作中的情绪内容？
• RQ5 此类系统如何集成到实时交互式应用中，例如自闭症干预的严肃游戏？

主要发现

• 所提出的系统在六种情绪识别任务中，采用留一被试者交叉验证，识别准确率达到61.3%。
• 该性能与人类观察者识别率61.9%非常接近，表明其在实际应用中具有强大潜力。
• 系统在两种数据源（专业光学动作捕捉与Microsoft Kinect）上均表现出鲁棒性，验证了其在低成本硬件上的可行性。
• 将情绪识别模块集成到两款严肃游戏——“身体情绪游戏”和“情绪猜谜”中，证明了其在治疗性场景中实现实时交互反馈的可行性。
• 系统成功实现了从身体动作中实时推断情绪，支持自闭症谱系障碍儿童的交互式学习。
• 结果表明，基于心理学理论提取的身体动作特征可有效表征机器学习模型中的情绪状态。