[论文解读] Multimodal Stress Detection Using Facial Landmarks and Biometric Signals

Majid Hosseini, Morteza Bodaghi+3 more|arXiv (Cornell University)|Nov 6, 2023

Emotion and Mood Recognition被引用 4

一句话总结

该论文提出了一种多模态压力检测框架，通过早期融合与晚期融合策略，结合面部关键点（2D-CNN）与生物信号（1D-CNN）。早期融合实现98.38%的准确率，优于晚期融合（94.39%）和单模态模型，表明整合来自多样化生理与视觉线索的深度学习可显著提升压力检测的可靠性与泛化能力。

ABSTRACT

The development of various sensing technologies is improving measurements of stress and the well-being of individuals. Although progress has been made with single signal modalities like wearables and facial emotion recognition, integrating multiple modalities provides a more comprehensive understanding of stress, given that stress manifests differently across different people. Multi-modal learning aims to capitalize on the strength of each modality rather than relying on a single signal. Given the complexity of processing and integrating high-dimensional data from limited subjects, more research is needed. Numerous research efforts have been focused on fusing stress and emotion signals at an early stage, e.g., feature-level fusion using basic machine learning methods and 1D-CNN Methods. This paper proposes a multi-modal learning approach for stress detection that integrates facial landmarks and biometric signals. We test this multi-modal integration with various early-fusion and late-fusion techniques to integrate the 1D-CNN model from biometric signals and 2-D CNN using facial landmarks. We evaluate these architectures using a rigorous test of models' generalizability using the leave-one-subject-out mechanism, i.e., all samples related to a single subject are left out to train the model. Our findings show that late-fusion achieved 94.39\% accuracy, and early-fusion surpassed it with a 98.38\% accuracy rate. This research contributes valuable insights into enhancing stress detection through a multi-modal approach. The proposed research offers important knowledge in improving stress detection using a multi-modal approach.

研究动机与目标

• 通过整合面部关键点分析与心率、皮肤电活动（EDA）及皮肤温度等生物信号，提升压力检测的准确率。
• 评估早期融合与晚期融合技术在结合异构模态（2D-CNN用于面部关键点，1D-CNN用于生物信号）进行压力识别方面的有效性。
• 通过在真实世界数据集上采用严格的留一被试者交叉验证协议，评估模型的泛化能力。
• 分析特征选择方法以及EDA的张力性与脉冲性成分对模型性能的影响。
• 比较模型复杂度、训练时间与推理效率之间的计算成本与权衡。

提出的方法

• 使用2D-CNN从视频数据中提取面部关键点，以建模面部表情的空间与时间动态。
• 使用1D-CNN处理生物信号（心率、EDA、皮肤温度），以捕捉生理反应的时间模式。
• 通过在最终全连接DNN层之前拼接1D-CNN与2D-CNN的特征，实现早期融合。
• 通过独立处理各模态并在决策层使用逐元素平均法融合预测结果，实现晚期融合。
• 应用多种特征选择技术（随机森林重要性、递归特征消除、方差阈值）以优化输入特征。
• 采用留一被试者交叉验证策略进行模型训练与评估，以确保泛化能力的稳健性。

Figure 1: Illustration of the 68 facial landmarks

实验结果

研究问题

• RQ1 在多模态压力检测中，1D-CNN（生物信号）与2D-CNN（面部关键点）的早期融合是否优于晚期融合？
• RQ2 不同特征选择方法如何影响多模态压力检测模型的性能？
• RQ3 包含EDA的张力性与脉冲性成分对模型准确率与可靠性有何影响？
• RQ4 早期融合与晚期融合架构在计算成本（训练时间、参数量、推理时间）方面有何差异？
• RQ5 多模态融合是否能降低高压力检测中的假阴性率，尤其在关键应用场景中？

主要发现

• 1D-CNN（生物信号）与2D-CNN（面部关键点）的早期融合实现了98.38%的最高准确率，显著优于晚期融合（94.39%）。
• 引入EDA的张力性与脉冲性成分使模型准确率提升3.57%，精确率提升9.23%，召回率提升10.47%，F1分数提升10.71%。
• 基于随机森林的特征选择方法达到96.94%准确率，而方差阈值法使性能降至92.76%，凸显智能特征剪枝的重要性。
• 1D-CNN模型具有最多的可训练参数（23,931个），但训练时间最短（2,590秒），表明复杂度与速度之间存在权衡。
• 尽管参数量较少，晚期融合模型因需独立训练各模态专用网络，导致训练时间更长（2,220–2,930秒）。
• 仅基于面部关键点的2D-CNN模型表现优异，因其能有效捕捉面部空间与时间动态，优于仅使用生物信号的单模态1D-CNN模型。

Figure 2: Phasic and Tonic components of raw EDA signal