[论文解读] Wearable affect and stress recognition: A review

Philip Schmidt, Attila Reiss+2 more|arXiv (Cornell University)|Nov 21, 2018

Emotion and Mood Recognition参考文献 116被引用 16

一句话总结

本综述全面概述了基于可穿戴设备的情感与压力识别研究，重点关注生理与惯性传感器。综述详细介绍了心理模型、基于传感器的情感状态测量方法、实验室内与实地研究的方法论、数据处理流程以及分类技术，为研究人员开发在真实环境中具备鲁棒性、个性化和可部署性的可穿戴情感识别系统提供了最佳实践指南。

ABSTRACT

Affect recognition aims to detect a person's affective state based on observables, with the goal to e.g. provide reasoning for decision making or support mental wellbeing. Recently, besides approaches based on audio, visual or text information, solutions relying on wearable sensors as observables (recording mainly physiological and inertial parameters) have received increasing attention. Wearable systems offer an ideal platform for long-term affect recognition applications due to their rich functionality and form factor. However, existing literature lacks a comprehensive overview of state-of-the-art research in wearable-based affect recognition. Therefore, the aim of this paper is to provide a broad overview and in-depth understanding of the theoretical background, methods, and best practices of wearable affect and stress recognition. We summarise psychological models, and detail affect-related physiological changes and their measurement with wearables. We outline lab protocols eliciting affective states, and provide guidelines for ground truth generation in field studies. We also describe the standard data processing chain, and review common approaches to preprocessing, feature extraction, and classification. By providing a comprehensive summary of the state-of-the-art and guidelines to various aspects, we would like to enable other researchers in the field of affect recognition to conduct and evaluate user studies and develop wearable systems.

研究动机与目标

• 为解决现有可穿戴情感与压力识别研究缺乏全面综述的问题。
• 为研究人员提供情感心理模型及其生理相关性的深入理解。
• 提供设计实验室与实地研究的实用指南，包括真实标签生成与数据采集协议。
• 总结可穿戴情感识别领域在数据预处理、特征提取与分类方面的最先进方法。
• 推动开发适用于医疗保健与消费科技领域实际应用的鲁棒、个性化且可部署的情感识别系统。

提出的方法

• 回顾情感的心理学模型，包括维度模型（如愉悦度、唤醒度、效价）与分类模型，以奠定情感状态检测的基础。
• 详细说明与情感状态相关的生理变化，如心率变异性、皮肤电活动与呼吸变化，及其通过可穿戴传感器的测量方法。
• 概述标准化的实验室协议（如IAPS、音乐、视频刺激等），用于诱发受控的情感状态以支持数据采集。
• 提供实地研究中真实标签生成的指导，包括用户自我报告、主动标注以及上下文数据融合。
• 描述标准的数据处理流程：预处理（滤波、分段）、特征提取（时域、频域、时频域特征）与分类（如kNN、SVM、深度学习）。
• 讨论新兴的方法论趋势，如在线学习、半监督学习与迁移学习，以实现在真实环境中个性化与自适应的情感识别。

实验结果

研究问题

• RQ1 哪些最相关的心理情感模型可用于定义和标注可穿戴传感环境中的情感状态？
• RQ2 在可穿戴场景中，哪些生理与惯性信号是最可靠的应激与情感状态指标？
• RQ3 如何在真实世界、非受控的实地研究中收集有效且可靠的真实标签以支持情感识别？
• RQ4 在可穿戴情感识别系统中，数据预处理、特征提取与分类的最佳实践是什么？
• RQ5 为实现在长期部署中实现个性化与自适应的情感识别，需要哪些方法论上的进步（如在线学习、迁移学习等）？

主要发现

• 可穿戴传感器，特别是测量心率变异性、皮肤电活动与惯性信号的传感器，可提供可靠且连续的情感与应激状态指标。
• 融合生理与上下文数据的多模态方法可将识别准确率提升最多达10%，优于单一模态系统。
• 实地研究对真实应用场景至关重要，此类环境中真实标签的生成需要精心设计，包括用户自我报告与上下文数据融合。
• 尽管已有进展，但目前大多数系统仍未采用个性化技术（如在线学习或半监督训练），这构成了关键的研究空白。
• 深度神经网络在端到端特征学习与分类方面展现出强大潜力，但因计算需求高而在实际部署中面临挑战。
• 长期情感推理（如识别应激与环境因素之间的关联）在提升用户自我意识与支持行为改变方面展现出巨大潜力。