[论文解读] Real-Time Monitoring of User Stress, Heart Rate and Heart Rate Variability on Mobile Devices

Peyman Bateni, Leonid Sigal|arXiv (Cornell University)|Oct 4, 2022

Emotion and Mood Recognition被引用 5

一句话总结

本文介绍了 Beam AI SDK，这是一种仅使用智能手机自拍镜头即可实现实时、设备端用户压力、心率和心率变异性监测的解决方案。通过分析面部肤色的细微变化以提取脉搏波，并应用 Baevsky 压力指数，该 SDK 在心率估计中实现了 99.2% 的准确率，在压力与 HRV 的相关性上达到 0.801，优于现有方法，准确率接近两倍，且误差率更低。

ABSTRACT

Stress is considered to be the epidemic of the 21st-century. Yet, mobile apps cannot directly evaluate the impact of their content and services on user stress. We introduce the Beam AI SDK to address this issue. Using our SDK, apps can monitor user stress through the selfie camera in real-time. Our technology extracts the user's pulse wave by analyzing subtle color variations across the skin regions of the user's face. The user's pulse wave is then used to determine stress (according to the Baevsky Stress Index), heart rate, and heart rate variability. We evaluate our technology on the UBFC dataset, the MMSE-HR dataset, and Beam AI's internal data. Our technology achieves 99.2%, 97.8% and 98.5% accuracy for heart rate estimation on each benchmark respectively, a nearly twice lower error rate than competing methods. We further demonstrate an average Pearson correlation of 0.801 in determining stress and heart rate variability, thus producing commercially useful readings to derive content decisions in apps. Our SDK is available for use at www.beamhealth.ai.

研究动机与目标

• 为解决移动应用中缺乏实时、准确的压力监测问题，尤其是在全球压力相关疾病负担日益上升的背景下。
• 克服基于可穿戴设备的压力监测的局限性，如采用率低以及第三方对生物数据访问受限。
• 使移动应用能够通过非侵入式、设备端传感技术评估其内容和服务对生理状态的影响。
• 开发一种计算效率高、保护隐私的 SDK，完全在设备端运行，无需额外硬件。
• 在公开基准数据集和真实世界移动录音中验证系统的准确性和可靠性。

提出的方法

• 系统通过分析智能手机前置摄像头捕捉到的面部皮肤区域的细微颜色变化，提取用户的脉搏波。
• 一种专有的峰值检测算法处理提取出的脉搏波，以计算相邻心跳间隔，进而推导出心率、心率变异性（SDNN）和压力水平。
• 压力通过基于相邻心跳间隔变异性的 Baevsky 压力指数进行量化。
• 所有处理均在设备端完成，确保用户数据不会离开设备，且 SDK 在正常应用使用期间可高效在后台运行。
• 该方法使用三个数据集进行评估：UBFC、MMSE-HR 和内部 iPhone 录制数据，采用 Polar H10 胸带作为金标准，并通过人工验证脉搏峰值。
• 性能通过与真实值对比的心率、HRV 和压力的 MAE、MAPE、RMSE 和皮尔逊相关系数进行衡量。

实验结果

研究问题

• RQ1 智能手机自拍镜头能否在无需额外硬件的情况下实时准确估计心率？
• RQ2 基于同一摄像头的方法能否以高相关性可靠地估计心率变异性与压力水平，与金标准测量结果一致？
• RQ3 在公开基准测试中，所提出的 SDK 与现有远程光电容积脉搏波法相比，在准确率和误差率方面表现如何？
• RQ4 该 SDK 在消费级移动设备的真实世界连续监测场景中，性能能保持到何种程度？
• RQ5 该系统能否在心理健康与健康类应用中实现具有商业实用价值的准确度，以评估内容与服务的影响？

主要发现

• 在 UBFC 数据集中，Beam AI SDK 在心率估计中实现了 99.2% 的准确率，平均绝对误差（MAE）为 0.65 bpm，显著优于现有竞争方法。
• 在 MMSE-HR 数据集中，SDK 实现了 97.8% 的准确率和 0.77 bpm 的 MAE，表明其在多样化数据中具有强大鲁棒性。
• 在 iPhone 13 上的连续监测中，SDK 与 Polar H10 胸带的金标准读数在压力和 HRV 上的皮尔逊相关系数达到 0.801。
• 在 UBFC 数据集的人工验证脉搏峰值上，SDK 的压力估计 MAE 为 0.973，相关系数为 0.730，表明其与临床标准高度一致。
• 与最先进的方法（如 EfficientPhys-T1 和 TS-CAN）相比，SDK 将心率估计的平均绝对误差降低了近两倍。
• 该系统表现出高度的计算效率和完全的设备端运行能力，确保了隐私保护，并支持移动应用中的实时后台监测。