[论文解读] Multimodal Affect Analysis for Product Feedback Assessment

Amol Patwardhan, Gerald M. Knapp|arXiv (Cornell University)|May 7, 2017

Color perception and design参考文献 13被引用 20

一句话总结

本文提出了一种多模态情感识别系统，通过分析面部表情、身体姿势、手势和语音，利用 Kinect for Windows 评估消费者对产品的反馈。该系统采用皮肤分割、Haar 级联检测、边缘提取和基于 SVM 的分类方法，在零售环境中实现实时、准确的情感状态检测，以评估产品喜爱度。

ABSTRACT

Consumers often react expressively to products such as food samples, perfume, jewelry, sunglasses, and clothing accessories. This research discusses a multimodal affect recognition system developed to classify whether a consumer likes or dislikes a product tested at a counter or kiosk, by analyzing the consumer's facial expression, body posture, hand gestures, and voice after testing the product. A depth-capable camera and microphone system - Kinect for Windows - is utilized. An emotion identification engine has been developed to analyze the images and voice to determine affective state of the customer. The image is segmented using skin color and adaptive threshold. Face, body and hands are detected using the Haar cascade classifier. Canny edges are identified and the lip, body and hand contours are extracted using spatial filtering. Edge count and orientation around the mouth, cheeks, eyes, shoulders, fingers and the location of the edges are used as features. Classification is done by an emotion template mapping algorithm and training a classifier using support vector machines. The real-time performance, accuracy and feasibility for multimodal affect recognition in feedback assessment are evaluated.

研究动机与目标

• 开发一种实时系统，用于评估消费者在零售自助终端中对产品的感情反应。
• 整合多种模态——面部表情、语音、身体姿势和手势——以提高反馈评估的准确性。
• 评估在实际、现实世界产品测试场景中部署多模态情感识别的可行性与性能。
• 从视觉和音频模态中识别并提取具有区分性的特征，用于情感分类。
• 验证系统在分类消费者对产品“喜欢”或“不喜欢”方面的准确性与响应速度。

提出的方法

• 使用 Kinect for Windows 捕获消费者在测试产品时的深度、RGB 和音频数据。
• 应用肤色分割和自适应阈值法，从图像中分离出面部、身体和手部区域。
• 使用 Haar 级联分类器实时检测面部、完整身体和手部。
• 提取 Canny 边缘并使用空间滤波识别嘴唇、面颊、眼睛、肩膀和手指的轮廓。
• 计算关键面部和身体区域周围的边缘数量和方向特征，作为分类的输入。
• 使用情感模板映射算法和支撑向量机（SVM）将情感状态分类为“喜欢”或“不喜欢”。

实验结果

研究问题

• RQ1 能否有效结合来自面部表情、语音、姿势和手势的多模态情感信号，以评估消费者对产品的喜爱度？
• RQ2 在零售自助终端环境中，基于 Kinect 传感器的实时系统在分类消费者情感时的准确率如何？
• RQ3 哪些视觉和音频特征——例如嘴角周围的边缘模式或语音音调——最能预测消费者偏好？
• RQ4 在现实世界产品测试环境中部署此类系统的可行性如何？
• RQ5 在喜爱度评估中，各单一模态（如面部与语音）的预测能力如何比较？

主要发现

• 该系统实现了实时性能，能够在产品测试过程中即时评估反馈。
• 从嘴角、眼睛和手部周围的边缘提取特征显著提高了分类准确率。
• 视觉与音频模态的融合在产品反馈的情感识别中优于单模态方法。
• 基于提取特征训练的支撑向量机在区分“喜欢”与“不喜欢”反应方面表现出高准确率。
• 自适应阈值法与皮肤分割的结合增强了在不同光照条件下的鲁棒性。
• 情感模板映射算法能够以低延迟有效将多模态特征映射到情感状态。