[论文解读] PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer

Zitong Yu, Yuming Shen+6 more|arXiv (Cornell University)|Feb 7, 2023

Non-Invasive Vital Sign Monitoring被引用 6

一句话总结

本文提出 PhysFormer 和 PhysFormer++，两种用于从面部视频进行无接触生理测量的端到端视频变换器架构。通过利用具有全局注意力的时序差异变换器和 SlowFast 双路径设计，模型增强了周期性 rPPG 信号，并提高了对运动、光照和视频退化的鲁棒性，在无需预训练的情况下于基准数据集上实现了最先进性能。

ABSTRACT

Remote photoplethysmography (rPPG), which aims at measuring heart activities and physiological signals from facial video without any contact, has great potential in many applications (e.g., remote healthcare and affective computing). Recent deep learning approaches focus on mining subtle rPPG clues using convolutional neural networks with limited spatio-temporal receptive fields, which neglect the long-range spatio-temporal perception and interaction for rPPG modeling. In this paper, we propose two end-to-end video transformer based architectures, namely PhysFormer and PhysFormer++, to adaptively aggregate both local and global spatio-temporal features for rPPG representation enhancement. As key modules in PhysFormer, the temporal difference transformers first enhance the quasi-periodic rPPG features with temporal difference guided global attention, and then refine the local spatio-temporal representation against interference. To better exploit the temporal contextual and periodic rPPG clues, we also extend the PhysFormer to the two-pathway SlowFast based PhysFormer++ with temporal difference periodic and cross-attention transformers. Furthermore, we propose the label distribution learning and a curriculum learning inspired dynamic constraint in frequency domain, which provide elaborate supervisions for PhysFormer and PhysFormer++ and alleviate overfitting. Comprehensive experiments are performed on four benchmark datasets to show our superior performance on both intra- and cross-dataset testings. Unlike most transformer networks needed pretraining from large-scale datasets, the proposed PhysFormer family can be easily trained from scratch on rPPG datasets, which makes it promising as a novel transformer baseline for the rPPG community.

研究动机与目标

• 解决基于 CNN 的 rPPG 模型在捕捉面部视频中长程时空依赖性和周期性动态方面的局限性。
• 开发一种基于变换器的架构，通过时序差异引导的全局注意力增强准周期性 rPPG 特征。
• 在真实世界 rPPG 监测场景中，提高对头部运动、视频压缩和低分辨率输入的鲁棒性。
• 实现在无大规模预训练的情况下从零开始有效训练，为变换器时代下的 rPPG 建立新基准。
• 引入新型监督机制——标签分布学习和频域课程学习，以稳定训练并减少过拟合。

提出的方法

• 核心架构采用时序差异变换器，通过时序差异表示在局部和全局时空特征上计算注意力。
• 该方法提出一种新颖的时序差异多头自注意力（TD-MHPSA）模块，通过聚焦帧间相对强度变化来增强周期性 rPPG 信号。
• PhysFormer++ 通过引入 SlowFast 双路径设计扩展模型，其中“慢”路径捕捉长程上下文，“快”路径建模短期动态，实现更优的特征融合。
• 模型采用交叉注意力和周期性注意力机制，通过强调 rPPG 信号中的重复模式来优化表示。
• 应用频域课程学习损失，逐步约束模型学习周期性模式，提升泛化能力。
• 采用标签分布学习，使用软目标监督模型，增强鲁棒性并减少过拟合。

实验结果

研究问题

• RQ1 视频变换器架构能否有效建模面部视频中用于 rPPG 测量的长程时空依赖性？
• RQ2 在端到端学习中，引入时序差异特征在建模准周期性 rPPG 信号方面有何改善作用？
• RQ3 SlowFast 设计在 rPPG 估计中在多大程度上增强了对头部运动和视频退化的鲁棒性？
• RQ4 所提方法能否在无需大规模数据集预训练的情况下实现最先进性能？
• RQ5 所提出的监督机制——标签分布学习和频域课程学习，在提升模型泛化能力方面有多有效？

主要发现

• 在 VIPL-HR 数据集上，PhysFormer++ 在使用 100% 数据训练时，RMSE 达到 7.62 bpm，优于 AutoHR（8.68 bpm）和 PhysFormer（7.79 bpm）。
• 在 OBF 数据集上，PhysFormer++ 在高视频压缩率（1000 kb/s）下仍保持优异性能，尤其在 500 kb/s 时优于 rPPGNet。
• 在低分辨率条件下（16×16），PhysFormer++ 达到 9.58 bpm 的 RMSE，展现出对图像退化和远距离监测场景的鲁棒性。
• 仅使用 10% 训练数据时，PhysFormer++ 达到 13.92 bpm 的 RMSE，与数据密集型的 CNN 基线（如 AutoHR 在相同低数据条件下为 15.77 bpm）相比表现具有竞争力。
• 所提出的注意力损失（$\mathcal{L}_{\text{atten}}$）使注意力图更具周期性和规律性，提升了在运动干扰下的模型稳定性和性能。
• 消融实验表明，时序差异注意力和 SlowFast 设计均显著提升性能，尤其在跨数据集和具有挑战性的现实场景中。