[论文解读] Multimodal Affect Recognition using Kinect

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|Jul 9, 2016

Emotion and Mood Recognition参考文献 13被引用 13

一句话总结

本文提出了一种使用Kinect捕获面部、身体、手势和语音特征的多模态情感识别系统，以实现情绪检测。通过事件驱动的决策级融合与基于规则的情感模板，对不同模态的时间特征进行融合，该方法在识别准确率上优于仅使用监督学习的方法，且时间特征的表现优于基于静态位置的特征。

ABSTRACT

Affect (emotion) recognition has gained significant attention from researchers in the past decade. Emotion-aware computer systems and devices have many applications ranging from interactive robots, intelligent online tutor to emotion based navigation assistant. In this research data from multiple modalities such as face, head, hand, body and speech was utilized for affect recognition. The research used color and depth sensing device such as Kinect for facial feature extraction and tracking human body joints. Temporal features across multiple frames were used for affect recognition. Event driven decision level fusion was used to combine the results from each individual modality using majority voting to recognize the emotions. The study also implemented affect recognition by matching the features to the rule based emotion templates per modality. Experiments showed that multimodal affect recognition rates using combination of emotion templates and supervised learning were better compared to recognition rates based on supervised learning alone. Recognition rates obtained using temporal feature were higher compared to recognition rates obtained using position based features only.

研究动机与目标

• 开发一种利用Kinect获取的多模态数据实现情绪感知的系统，以提升情感识别性能。
• 探究将基于规则的情感模板与监督学习相结合在情感识别中的有效性。
• 比较使用时间特征与基于静态位置的特征在识别性能上的差异。
• 评估基于多数投票的事件驱动决策级融合在多个模态上的效果。
• 探索在交互式机器人、智能辅导系统以及基于情绪的导航中的应用。

提出的方法

• 利用Microsoft Kinect实现实时彩色与深度感知，提取面部特征并追踪人体关节点。
• 从多个模态（面部、头部、手部、身体、语音）在连续视频帧中提取时间特征。
• 为每个模态应用基于规则的情感模板，将观测特征与预定义的情绪状态进行匹配。
• 采用事件驱动的决策级融合方法，通过多数投票策略整合各模态的独立预测结果。
• 在多模态数据上训练监督模型，并与基于规则的方法及混合方法进行性能对比。
• 使用时间建模技术捕捉情感表达随时间的动态变化。

实验结果

研究问题

• RQ1 将基于规则的情感模板与监督学习结合，能否提升多模态情感识别的性能？
• RQ2 时间特征与基于静态位置的特征在情感识别中的相对贡献如何？
• RQ3 基于多数投票的事件驱动决策级融合在多个模态上的有效性如何？
• RQ4 使用Kinect数据的多模态融合能否显著提升情感识别准确率？
• RQ5 在面部、身体、手势和语音中，哪种子模态对准确的情感识别贡献最大？

主要发现

• 基于规则的情感模板与监督学习的结合，其识别率高于仅使用监督学习的方法。
• 时间特征在识别性能上显著优于基于位置的特征。
• 基于多数投票的事件驱动决策级融合能有效整合各子模态的预测结果。
• 使用Kinect数据的多模态融合显著提升了整体情感识别准确率，优于单模态方法。
• 面部与身体运动特征对准确的情绪检测贡献最大。
• 该系统在使用消费级深度与RGB传感器的情况下，表现出稳健的实时情感识别性能。