[论文解读] Neuron Structure Modeling for Generalizable Remote Physiological Measurement

Hao Lu, Zitong Yu+2 more|arXiv (Cornell University)|Mar 10, 2023

Non-Invasive Vital Sign Monitoring被引用 4

一句话总结

本文提出 NEST，一种无需领域标签的远程生理测量方法，基于rPPG技术，通过覆盖最大化、目标对齐和多样性最大化建模神经结构，提升模型泛化能力。该方法在跨数据集和同数据集基准测试中均优于最先进方法，且无需依赖显式领域标签，在真实世界、无领域先验设置下表现出强鲁棒性。

ABSTRACT

Remote photoplethysmography (rPPG) technology has drawn increasing attention in recent years. It can extract Blood Volume Pulse (BVP) from facial videos, making many applications like health monitoring and emotional analysis more accessible. However, as the BVP signal is easily affected by environmental changes, existing methods struggle to generalize well for unseen domains. In this paper, we systematically address the domain shift problem in the rPPG measurement task. We show that most domain generalization methods do not work well in this problem, as domain labels are ambiguous in complicated environmental changes. In light of this, we propose a domain-label-free approach called NEuron STructure modeling (NEST). NEST improves the generalization capacity by maximizing the coverage of feature space during training, which reduces the chance for under-optimized feature activation during inference. Besides, NEST can also enrich and enhance domain invariant features across multi-domain. We create and benchmark a large-scale domain generalization protocol for the rPPG measurement task. Extensive experiments show that our approach outperforms the state-of-the-art methods on both cross-dataset and intra-dataset settings.

研究动机与目标

• 解决由于环境变化和缺乏标注领域导致的远程光电容积脉搏波（rPPG）中领域偏移的问题。
• 克服现有领域泛化方法依赖于明确定义的领域标签的局限性，这些标签在复杂的rPPG场景中存在歧义。
• 开发一种无需领域注释即可提升模型在未见环境中的泛化能力的方法。
• 构建并基准测试一个大规模rPPG领域泛化协议，以评估模型在多样化数据集间的鲁棒性。
• 提升特征空间覆盖度，抑制领域特异性特征，并丰富判别性特征，以改善分布外性能。

提出的方法

• 提出神经结构覆盖最大化（NEST-CM），通过在训练过程中鼓励欠优化神经单元的激活，对特征空间进行正则化。
• 引入神经结构目标对齐（NEST-TA），对跨领域具有相似生理信号的样本特征进行对齐，提升领域不变表示能力。
• 开发神经结构多样性最大化（NEST-DM），推动不同样本表示之间的分离，增强判别能力。
• 使用面部视频的空间-时间图（STMaps）作为输入，提取时空特征以估计rPPG信号。
• 通过联合优化NEST-CM、NEST-TA和NEST-DM损失函数来训练模型，实现鲁棒性、不变性和多样性的协同提升。
• 在跨数据集（MSDG）和同数据集（VIPL-HR的5折交叉验证）设置下应用该方法，验证其泛化能力。

实验结果

研究问题

• RQ1 当由于环境和设备差异导致领域标签模糊或未定义时，领域泛化方法在rPPG中是否仍有效？
• RQ2 神经结构建模在提升特征空间覆盖度并减少分布外样本异常激活方面，其作用机制如何？
• RQ3 在rPPG中，不依赖显式领域注释时，领域不变特征能被增强到何种程度？
• RQ4 所提方法在跨数据集和同数据集评估协议中，是否优于现有SOTA方法？
• RQ5 NEST-CM、NEST-TA和NEST-DM中的超参数如何影响模型性能与鲁棒性？

主要发现

• NEST在多领域泛化（MSDG）协议中表现最佳，全面超越所有SOTA方法，包括DeepPhys和TS-CAN。
• 在VIPL-HR数据集上，NEST相较基线模型将MAE降低0.46，RMSE降低0.56，分别达到4.76 MAE和7.51 RMSE。
• 在VIPL-HR上，NEST的r值达到0.84，显著优于次优方法Dual-GAN的r=0.81。
• 该方法在无领域先验设置下表现出强鲁棒性，即数据集无法被清晰划分为独立领域时，证明其无标签设计的有效性。
• 超参数消融实验表明，NEST-CM的最优参数为ρ=0.1，NEST-TA为σ=5，NEST-DM的τ取中等值时性能最佳，证实了平衡正则化的重要性。
• 皮尔逊相关性分析表明，NEST-TA能实现连续HR标签下更平滑的表示过渡，降低分布外样本的预测误差。