[论文解读] Semi-Supervised Learning and Data Augmentation in Wearable-based Momentary Stress Detection in the Wild

Han Yu, Akane Sano|arXiv (Cornell University)|Feb 22, 2022

Emotion and Mood Recognition被引用 6

一句话总结

本文提出了一种半监督学习框架，结合数据增强（DA）、LSTM自编码器（LSTM-AE）预训练与未标记数据的主动采样，以及一致性正则化（CR），以利用可穿戴传感器数据提升瞬时压力检测性能。与监督基线相比，该方法在三个真实世界数据集上的F1分数提升了7.7%至13.8%，显著提升了在有限标注数据和大量未标注生理与行为信号下的性能表现。

ABSTRACT

Physiological and behavioral data collected from wearable or mobile sensors have been used to estimate self-reported stress levels. Since the stress annotation usually relies on self-reports during the study, a limited amount of labeled data can be an obstacle in developing accurate and generalized stress predicting models. On the other hand, the sensors can continuously capture signals without annotations. This work investigates leveraging unlabeled wearable sensor data for stress detection in the wild. We first applied data augmentation techniques on the physiological and behavioral data to improve the robustness of supervised stress detection models. Using an auto-encoder with actively selected unlabeled sequences, we pre-trained the supervised model structure to leverage the information learned from unlabeled samples. Then, we developed a semi-supervised learning framework to leverage the unlabeled data sequences. We combined data augmentation techniques with consistency regularization, which enforces the consistency of prediction output based on augmented and original unlabeled data. We validated these methods using three wearable/mobile sensor datasets collected in the wild. Our results showed that combining the proposed methods improved stress classification performance by 7.7% to 13.8% on the evaluated datasets, compared to the baseline supervised learning models.

研究动机与目标

• 为解决可穿戴设备在瞬时压力检测中因自我报告稀疏而标注数据有限的挑战，尽管传感器数据持续采集。
• 通过有效利用在真实环境中采集的大规模未标注生理与行为传感器数据，提升模型的泛化能力与鲁棒性。
• 开发一种结合数据增强、未标记序列主动采样与一致性正则化的半监督学习框架，用于时间序列压力建模。
• 在具有不同传感器模态与参与者群体的多样化真实世界数据集上评估所提方法。
• 通过显著性图提升模型可解释性，并分析压力预测中的特征重要性。

提出的方法

• 提出一种集成数据增强（DA）、LSTM-AE预训练与未标记序列主动采样、以及一致性正则化（CR）的半监督学习框架。
• 使用自编码器在主动选择的未标记序列上预训练模型，学习鲁棒表征后再在标注数据上微调。
• 对标注与未标注数据均应用数据增强，生成扰动版本以提升模型鲁棒性。
• 通过强制原始与增强未标记样本的预测保持一致，实施一致性正则化，提升泛化能力。
• 采用显著性图解释模型决策，识别影响压力预测的关键输入特征。
• 采用三分类压力识别任务（低/中/高），并使用长短期记忆（LSTM）网络进行时间序列建模。

实验结果

研究问题

• RQ1 在LSTM-AE预训练过程中，对未标记可穿戴传感器数据进行主动采样是否能提升监督型压力检测模型的性能？
• RQ2 结合数据增强与一致性正则化如何提升压力检测中模型的鲁棒性与准确性？
• RQ3 与监督基线相比，采用LSTM-AE预训练的半监督学习在F1分数上的提升程度如何？
• RQ4 在具有不同传感器模态与参与者群体的多样化真实世界数据集中，特征重要性模式有何差异？
• RQ5 所提框架在传感器类型与采样率不一致的数据集之间是否具备良好的泛化能力？

主要发现

• 与监督基线相比，所提半监督学习框架在三个真实世界数据集上的F1分数提升了7.7%至13.8%。
• 在LSTM-AE预训练阶段采用未标记序列的主动采样优于随机采样，在使用更少未标记样本的情况下实现了更优性能。
• 数据增强、LSTM-AE预训练与一致性正则化的组合在所有评估数据集上均取得了最高的F1分数。
• TILES数据集（超过200名参与者）因参与者代表性更广，减少了协变量偏移，取得了最高的F1分数。
• 显著性图显示，皮肤电活动、ECG特征以及智能手机使用模式（如娱乐类应用）是压力预测的关键贡献因素。
• 由于传感器类型、采样频率与数据模态的差异，模型性能在不同数据集上表现不一，凸显了泛化挑战。