[论文解读] PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer

Zitong Yu, Yuming Shen+4 more|arXiv (Cornell University)|Nov 23, 2021

Non-Invasive Vital Sign Monitoring参考文献 70被引用 13

一句话总结

本文提出 PhysFormer，一种用于远程光电容积脉搏波（rPPG）的端到端视频变换器架构，通过利用时间差分引导的全局注意力机制，在长程时空上下文中增强准周期性 rPPG 特征。该方法在多个基准数据集上实现了最先进性能，且无需 ImageNet 预训练，展示了在内部和跨数据集评估中均具备出色的泛化能力和鲁棒性。

ABSTRACT

Remote photoplethysmography (rPPG), which aims at measuring heart activities and physiological signals from facial video without any contact, has great potential in many applications (e.g., remote healthcare and affective computing). Recent deep learning approaches focus on mining subtle rPPG clues using convolutional neural networks with limited spatio-temporal receptive fields, which neglect the long-range spatio-temporal perception and interaction for rPPG modeling. In this paper, we propose the PhysFormer, an end-to-end video transformer based architecture, to adaptively aggregate both local and global spatio-temporal features for rPPG representation enhancement. As key modules in PhysFormer, the temporal difference transformers first enhance the quasi-periodic rPPG features with temporal difference guided global attention, and then refine the local spatio-temporal representation against interference. Furthermore, we also propose the label distribution learning and a curriculum learning inspired dynamic constraint in frequency domain, which provide elaborate supervisions for PhysFormer and alleviate overfitting. Comprehensive experiments are performed on four benchmark datasets to show our superior performance on both intra- and cross-dataset testings. One highlight is that, unlike most transformer networks needed pretraining from large-scale datasets, the proposed PhysFormer can be easily trained from scratch on rPPG datasets, which makes it promising as a novel transformer baseline for the rPPG community. The codes will be released at https://github.com/ZitongYu/PhysFormer.

研究动机与目标

• 解决现有 rPPG 方法依赖局部感受野、难以建模长程时空依赖性的局限性。
• 开发一种端到端深度学习框架，能够从面部视频中捕捉全局上下文线索，以提升生理信号估计性能。
• 设计一种监督策略，以缓解过拟合问题，并增强在低监督场景下对内在 rPPG 敏感特征的学习能力。
• 实现无需大规模预训练即可从零开始有效训练，为变换器时代下的 rPPG 建立新基准。

提出的方法

• 提出级联的时间差分变换器（TD-Transformer）主干网络，通过细粒度的时间皮肤颜色差异建模长程时空关系。
• 采用时间差分多头自注意力（TD-MHSA），通过关注帧与区域间相似的信号趋势，增强准周期性 rPPG 信号。
• 应用标签分布学习以建模生理信号标签的不确定性，提升对噪声标注的鲁棒性。
• 在频域中引入受课程学习启发的动态损失，采用指数增长的加权策略，引导训练过程并减少过拟合。
• 采用基于管状的标记化方法，表示连续帧中的时空区域，实现高效的视频序列建模。
• 在 rPPG 数据集上从零开始端到端训练模型，避免对 ImageNet 或其他大规模预训练的依赖。

实验结果

研究问题

• RQ1 视频变换器架构能否有效建模面部视频中用于 rPPG 测量的长程时空依赖性？
• RQ2 与局部卷积或标准自注意力相比，时间差分引导的全局注意力如何提升 rPPG 特征提取性能？
• RQ3 动态频域监督能否增强低监督 rPPG 学习中的模型泛化能力并减少过拟合？
• RQ4 PhysFormer 是否在无需 ImageNet-21K 等大规模数据集预训练的情况下实现最先进性能？
• RQ5 架构超参数（如头数和深度）如何影响模型的性能与鲁棒性？

主要发现

• PhysFormer 在四个基准数据集（包括 VIPL-HR、rPPG 数据集等）上实现了优越或最先进性能，且未使用任何 ImageNet 预训练。
• 采用动态频域监督（β 指数增长）的模型收敛更快，且 RMSE 低于固定或线性增长策略。
• 时间差分模块中 θ = 0.4 或 0.7 时性能最优，表明归一化后的局部时间梯度对注意力机制至关重要。
• 使用四个注意力头可获得最佳性能，而头数更少则导致性能显著下降，凸显了多头建模 rPPG 模式的重要性。
• 更深的网络（更多 TD-Transformer 块）可逐步降低 RMSE，尽管计算成本随之增加。
• 注意力可视化结果表明，模型能够学习关注与生理相关的区域（如额头、面颊），并与其周期性 rPPG 信号趋势对齐，但仍有部分噪声或相位偏移响应存在。