[论文解读] WiFE: WiFi and Vision based Intelligent Facial-Gesture Emotion Recognition

Yu Gu, Xiang Zhang+2 more|arXiv (Cornell University)|Apr 21, 2020

Speech and Audio Processing参考文献 16被引用 9

一句话总结

该论文提出WiFE，一种无接触、无需设备的情绪识别系统，结合了WiFi信道状态信息（CSI）用于手势检测与基于视觉的面部表情分析。通过基于Rician K因子理论提升WiFi信号灵敏度，并采用CNN-RNN结合得分级融合的多模态数据融合策略，WiFE在识别七种情绪时达到83.24%的准确率，显著优于单模态方法。

ABSTRACT

Emotion is an essential part of Artificial Intelligence (AI) and human mental health. Current emotion recognition research mainly focuses on single modality (e.g., facial expression), while human emotion expressions are multi-modal in nature. In this paper, we propose a hybrid emotion recognition system leveraging two emotion-rich and tightly-coupled modalities, i.e., facial expression and body gesture. However, unbiased and fine-grained facial expression and gesture recognition remain a major problem. To this end, unlike our rivals relying on contact or even invasive sensors, we explore the commodity WiFi signal for device-free and contactless gesture recognition, while adopting a vision-based facial expression. However, there exist two design challenges, i.e., how to improve the sensitivity of WiFi signals and how to process the large-volume, heterogeneous, and non-synchronous data contributed by the two-modalities. For the former, we propose a signal sensitivity enhancement method based on the Rician K factor theory; for the latter, we combine CNN and RNN to mine the high-level features of bi-modal data, and perform a score-level fusion for fine-grained recognition. To evaluate the proposed method, we build a first-of-its-kind Vision-CSI Emotion Database (VCED) and conduct extensive experiments. Empirical results show the superiority of the bi-modality by achieving 83.24\% recognition accuracy for seven emotions, as compared with 66.48% and 66.67% recognition accuracy by gesture-only based solution and facial-only based solution, respectively. The VCED database download link is https://github.com/purpleleaves007/WIFE-Dataset.

研究动机与目标

• 为解决单模态情绪识别的局限性，通过整合面部表情与身体手势实现更准确的多模态情绪检测。
• 克服在无接触、无设备环境下，商用WiFi信号在手势识别中灵敏度低的挑战。
• 设计一种有效的融合策略，用于异构且非同步的双模态数据（WiFi CSI与视频帧），以实现细粒度情绪识别。
• 通过构建首个视觉-CSDI情绪数据库（VCED），为基于视觉与CSI的情绪识别建立基准数据集。

提出的方法

• 提出一种基于Rician K因子理论的信号灵敏度增强方法，以提升从WiFi CSI信号中检测细微人体手势的能力。
• 采用卷积神经网络（CNN）从面部图像中提取空间特征，利用循环神经网络（RNN）对来自CSI数据的手势序列时间动态进行建模。
• 通过融合面部识别与手势识别分支的置信度得分，实现得分级融合，以提升整体识别性能。
• 采用混合深度学习架构，联合学习视觉与CSI模态信息，即使在数据异步与异质性条件下，也能实现鲁棒的表征学习。
• 设计数据预处理流水线，对来自视觉与CSI源的高容量、非同步输入进行对齐与归一化。

实验结果

研究问题

• RQ1 结合WiFi CSI与视觉面部分析的混合系统是否能相比单模态方法显著提升情绪识别准确率？
• RQ2 如何增强商用WiFi信号的灵敏度，以实现在真实环境中可靠、无接触的手势检测？
• RQ3 针对视觉与CSI模态的异构、非同步数据，何种融合策略最适合实现细粒度情绪识别？
• RQ4 多模态融合在多大程度上能减少偏差并提升情绪识别系统的泛化能力？

主要发现

• 所提出的WiFE系统在七种情绪识别任务中达到83.24%的识别准确率，显著优于仅使用手势的基线模型（66.48%）和仅使用面部的基线模型（66.67%）。
• 视觉与WiFi CSI模态的融合使准确率相比单模态方案绝对提升16.76%，充分证明了多模态融合的有效性。
• 基于Rician K因子理论的信号灵敏度增强方法显著提升了WiFi CSI轨迹中细微人体手势的可检测性，从而实现更可靠的运动追踪。
• 对CNN-RNN输出在得分级进行融合，相比早期或晚期融合策略表现更优，证实其对数据异步性的鲁棒性。
• 新创建的视觉-CSDI情绪数据库（VCED）为未来研究提供了宝贵基准，数据集已公开获取：https://github.com/purpleleaves007/WIFE-Dataset。