[论文解读] Personalized Driver Stress Detection with Multi-task Neural Networks using Physiological Signals

Aaqib Saeed, Stojan Trajanovski|arXiv (Cornell University)|Nov 15, 2017

Emotion and Mood Recognition参考文献 14被引用 13

一句话总结

本文提出一种采用硬参数共享和个性化主体头的多任务神经网络，用于利用可穿戴生理信号（皮肤电导和心率）进行个性化驾驶员压力检测。该方法在真实驾驶数据上实现了最先进的性能，F1分数达0.965， Cohen's Kappa 系数为0.879，表明其在个体间具有更优的泛化能力，优于全局模型。

ABSTRACT

Stress can be seen as a physiological response to everyday emotional, mental and physical challenges. A long-term exposure to stressful situations can have negative health consequences, such as increased risk of cardiovascular diseases and immune system disorder. Therefore, a timely stress detection can lead to systems for better management and prevention in future circumstances. In this paper, we suggest a multi-task learning based neural network approach (with hard parameter sharing of mutual representation and task-specific layers) for personalized stress recognition using skin conductance and heart rate from wearable devices. The proposed method is tested on multi-modal physiological responses collected during real-world and simulator driving tasks.

研究动机与目标

• 为解决驾驶过程中个体间生理压力反应差异的问题。
• 开发一种仅使用可穿戴、非侵入式传感器（皮肤电导和心率）的个性化压力检测系统。
• 通过将个体作为独立任务的多任务学习方法，提升模型在不同驾驶员之间的泛化能力。
• 在真实世界和模拟驾驶环境中对方法进行评估，以验证其鲁棒性和实际适用性。

提出的方法

• 采用多任务神经网络架构，共享层学习所有驾驶员的通用表征，而任务特定（主体特定）层则适应个体差异。
• 在共享分支与主体特定分支之间应用硬参数共享，以实现在保持个性化的同时实现知识迁移。
• 模型在来自可穿戴设备采集的多模态生理信号（皮肤电导和心率）上进行端到端训练。
• 数据预处理包括伪影去除、信号降采样至15.5 Hz，以及利用标记信号排除非模糊段以定义真实标签。
• 采用80/20的基于主体的数据划分，并结合五折交叉验证进行超参数调优与评估。
• 基线模型包括逻辑回归、SVM（线性和RBF核）以及单任务神经网络（ST-NN），用于对比评估。

实验结果

研究问题

• RQ1 将个体作为任务的多任务学习方法是否能相比全局模型提升个性化压力检测性能？
• RQ2 所提出方法在真实世界与模拟驾驶环境中的性能表现如何？
• RQ3 仅依靠皮肤电导和心率信号在多大程度上可实现对多样化驾驶员的准确压力检测？
• RQ4 与共享模型相比，使用主体特定层是否能降低个体间性能的方差？
• RQ5 当在不同数据采集环境下混合数据上进行训练时，模型是否能有效泛化？

主要发现

• 在MIT驾驶员压力数据集上，多任务神经网络（MT-NN）的F1分数达到0.965 ± 0.023，Cohen's Kappa系数为0.879 ± 0.080，优于所有基线模型。
• MT-NN在不同受试者间表现出更低的标准差，表明其相比标准分类器具有更高的鲁棒性和一致性。
• 在模拟驾驶数据集上，MT-NN的F1分数为0.922 ± 0.137，Cohen's Kappa系数为0.891 ± 0.184，显著优于次优模型（ST-NN）的F1分数0.801 ± 0.243。
• 该方法在真实世界和模拟驾驶条件下均表现出一致的性能，表明其在不同环境间具有良好的泛化潜力。
• 结果表明，通过多任务学习实现的个性化建模对于应对生理压力反应的个体间差异至关重要。
• 本研究证实，当结合主体感知学习时，可靠且非侵入性的生理信号（皮肤电导和心率）已足够实现高精度的压力检测。