[论文解读] Physiological and Affective Computing through Thermal Imaging: A Survey

Youngjun Cho, Nadia Bianchi‐Berthouze|arXiv (Cornell University)|Aug 27, 2019

Emotion and Mood Recognition参考文献 114被引用 10

一句话总结

本综述探讨了通过分析与自主神经系统活动相关的皮肤温度变化，利用热成像实现对生理和情感状态的非接触式监测。文章概述了从热成像视频到情感状态的计算处理流程，识别了技术与方法论上的挑战，并为在现实世界中广泛应用基于低成本热成像相机的情感计算应用绘制了未来研究方向。

ABSTRACT

Thermal imaging-based physiological and affective computing is an emerging research area enabling technologies to monitor our bodily functions and understand psychological and affective needs in a contactless manner. However, up to recently, research has been mainly carried out in very controlled lab settings. As small size and even low-cost versions of thermal video cameras have started to appear on the market, mobile thermal imaging is opening its door to ubiquitous and real-world applications. Here we review the literature on the use of thermal imaging to track changes in physiological cues relevant to affective computing and the technological requirements set so far. In doing so, we aim to establish computational and methodological pipelines from thermal images of the human skin to affective states and outline the research opportunities and challenges to be tackled to make ubiquitous real-life thermal imaging-based affect monitoring a possibility.

研究动机与目标

• 回顾2000年至2019年期间热成像在受控环境和现实世界设置中用于生理和情感计算的最新研究进展。
• 识别将热成像视频数据转化为有意义的情感状态估计所需的技术与方法论要求。
• 建立从热成像皮肤温度数据到情感状态的计算处理流程。
• 突出在实现普遍化、真实生活场景下的基于热成像的情感监测方面存在的研究空白与挑战。
• 概述在情感计算中部署低成本、移动式热成像技术的未来研究机遇。

提出的方法

• 对2000年至2019年期间热成像在生理和情感计算应用中的文献进行系统性综述。
• 根据生理线索（如面部温度变化、外周血流）和情感状态估计对研究进行分类。
• 分析热成像硬件的发展，包括热成像相机的小型化与成本降低。
• 梳理用于从热成像视频序列中提取特征的信号处理与机器学习技术。
• 从数据采集、预处理、特征提取和分类等方面评估现有方法论。
• 识别关键挑战，如环境干扰、校准问题以及个体间泛化能力的不足。

实验结果

研究问题

• RQ1 如何利用热成像非侵入式地监测与情绪和心理状态相关的生理变化？
• RQ2 在将热成像技术部署于现实世界的情感计算应用中，当前存在哪些技术限制？
• RQ3 有哪些已建立的计算处理流程可将原始热成像视频转化为情感状态预测？
• RQ4 环境与生理变量如何影响基于热成像的情感监测的可靠性？
• RQ5 在实现稳健、可泛化且普遍化的基于热成像的情感计算系统方面，仍存在哪些开放性挑战？

主要发现

• 热成像可通过面部和四肢等部位的细微皮肤温度变化，实现对自主神经系统反应的非接触式监测。
• 面部温度模式与压力、焦虑和认知负荷等情绪状态相关，在受控实验中可观察到可测量的变化。
• 近年来低成本、紧凑型热成像相机的进展，推动了从实验室应用向现实世界应用的转变。
• 尽管已取得进展，但在环境鲁棒性、个体差异性以及不同光照与热环境下的校准方面仍存在挑战。
• 缺乏标准化的数据集和评估协议，限制了研究的可重复性与模型的泛化能力。
• 未来工作应聚焦于提升实时处理能力、个性化建模，并加强与多模态传感的融合，以增强情感识别性能。