[论文解读] Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling

Xuesong Niu, Zitong Yu+4 more|arXiv (Cornell University)|Jul 16, 2020

Non-Invasive Vital Sign Monitoring参考文献 23被引用 11

一句话总结

本文提出了一种用于鲁棒视频远程生理测量的交叉验证特征解耦（CVD）方法，通过多尺度时空图（MSTmaps）增强生理信号表征，并采用具有双编码器的自编码器，通过交叉生成实现生理与非生理特征的解耦。该方法在公开数据集上将心率（HR）估计的均方根误差（RMSE）从9.03 bpm降低至7.97 bpm，达到当前最先进性能。

ABSTRACT

Remote physiological measurements, e.g., remote photoplethysmography (rPPG) based heart rate (HR), heart rate variability (HRV) and respiration frequency (RF) measuring, are playing more and more important roles under the application scenarios where contact measurement is inconvenient or impossible. Since the amplitude of the physiological signals is very small, they can be easily affected by head movements, lighting conditions, and sensor diversities. To address these challenges, we propose a cross-verified feature disentangling strategy to disentangle the physiological features with non-physiological representations, and then use the distilled physiological features for robust multi-task physiological measurements. We first transform the input face videos into a multi-scale spatial-temporal map (MSTmap), which can suppress the irrelevant background and noise features while retaining most of the temporal characteristics of the periodic physiological signals. Then we take pairwise MSTmaps as inputs to an autoencoder architecture with two encoders (one for physiological signals and the other for non-physiological information) and use a cross-verified scheme to obtain physiological features disentangled with the non-physiological features. The disentangled features are finally used for the joint prediction of multiple physiological signals like average HR values and rPPG signals. Comprehensive experiments on different large-scale public datasets of multiple physiological measurement tasks as well as the cross-database testing demonstrate the robustness of our approach.

研究动机与目标

• 为解决视频基远程生理测量中非生理干扰（如头部运动、光照变化、传感器噪声）的挑战。
• 通过将生理信号与无关视频伪影解耦，提升远程光电容积脉搏波图（rPPG）的鲁棒性与准确性。
• 通过端到端多任务学习框架，实现平均心率（HR）与rPPG信号的联合估计。
• 开发一种数据驱动的解耦策略，优于依赖预定义非生理信号的方法。

提出的方法

• 将输入人脸视频转换为多尺度时空图（MSTmaps），以抑制背景噪声并保留生理信号的时间特性。
• 设计一种双编码器自编码器架构，其中一个编码器提取生理特征，另一个捕捉非生理信息。
• 通过重建原始MSTmaps并利用不同输入的特征交叉生成伪MSTmaps，实施交叉验证的解耦策略，以强制特征一致性。
• 利用解耦后的生理特征，联合预测平均HR与rPPG信号。
• 采用多任务学习（MTL）端到端训练网络，同步优化HR与rPPG估计。
• 在编码器中使用批量归一化，在解码器中使用实例归一化，以实现稳定训练与特征重建。

实验结果

研究问题

• RQ1 数据驱动的解耦策略能否有效分离视频基rPPG中的生理信号与非生理伪影？
• RQ2 交叉验证的特征解耦是否能提升真实环境下远程生理测量的鲁棒性与准确性？
• RQ3 所提出的CVD方法与基于预定义非生理信号（如头部运动与面部像素方差）的解耦方法相比表现如何？
• RQ4 解耦后的生理特征能否有效用于平均HR与rPPG信号估计的多任务学习？

主要发现

• 当以MSTmaps作为输入时，所提出的CVD策略将HR估计的RMSE从9.03 bpm降低至7.97 bpm，显著提升了准确性。
• 该方法在MAE（5.02 bpm）与相关系数（r）方面优于基线方法，表现出更强的鲁棒性。
• 交叉验证解耦在所有评估指标上均优于基于预定义非生理信号（如头部运动N_movement与面部像素标准差N_stdface）的解耦方法。
• 使用MSTmaps作为输入表征，增强了网络捕捉相关生理特征的能力，同时抑制了噪声与无关变化。
• 该方法在多个公开数据集上泛化良好，并在多任务远程生理测量中达到最先进性能。
• 交叉验证机制确保生理编码器仅关注与HR和rPPG相关的特征，最大限度减少了运动与光照伪影的干扰。