[论文解读] PulseGAN: Learning to generate realistic pulse waveforms in remote photoplethysmography

Rencheng Song, Huan Chen+4 more|arXiv (Cornell University)|Jun 4, 2020

Non-Invasive Vital Sign Monitoring参考文献 26被引用 5

一句话总结

PulseGAN 提出了一种条件生成对抗网络（cGAN）框架，通过在时域和频域损失之外结合对抗训练，对 CHROM 提取的信号进行去噪，以生成高保真度的远程光电容积脉搏波（rPPG）波形。在跨数据库测试中，该方法显著提升了心率变异性（HRV）指标，与 DAE 相比，AVNN 和 SDNN 的平均绝对误差（MAE）分别降低了 20.85% 和 20.28%。

ABSTRACT

Remote photoplethysmography (rPPG) is a non-contact technique for measuring cardiac signals from facial videos. High-quality rPPG pulse signals are urgently demanded in many fields, such as health monitoring and emotion recognition. However, most of the existing rPPG methods can only be used to get average heart rate (HR) values due to the limitation of inaccurate pulse signals. In this paper, a new framework based on generative adversarial network, called PulseGAN, is introduced to generate realistic rPPG pulse signals through denoising the chrominance signals. Considering that the cardiac signal is quasi-periodic and has apparent time-frequency characteristics, the error losses defined in time and spectrum domains are both employed with the adversarial loss to enforce the model generating accurate pulse waveforms as its reference. The proposed framework is tested on the public UBFC-RPPG database in both within-database and cross-database configurations. The results show that the PulseGAN framework can effectively improve the waveform quality, thereby enhancing the accuracy of HR, the heart rate variability (HRV) and the interbeat interval (IBI). The proposed method achieves the best performance compared to the denoising autoencoder (DAE) and CHROM, with the mean absolute error of AVNN (the average of all normal-to-normal intervals) improving 20.85% and 41.19%, and the mean absolute error of SDNN (the standard deviation of all NN intervals) improving 20.28% and 37.53%, respectively, in the cross-database test. This framework can be easily extended to other existing deep learning based rPPG methods, which is expected to expand the application scope of rPPG techniques.

研究动机与目标

• 为解决现有 rPPG 方法在生成高质量脉搏波形方面存在的局限性，以支持高级心脏特征提取。
• 提升心率变异性（HRV）指标（如 AVNN 和 SDNN）的准确性，这些指标依赖于精确的波形重建。
• 开发一种深度学习框架，以超越平均心率估计的水平，提升 rPPG 信号质量。
• 实现与现有基于深度学习的 rPPG 方法的集成，通过波形优化提升其性能。

提出的方法

• 采用条件生成对抗网络（cGAN），其中生成器以粗糙的 CHROM 提取的 rPPG 信号为输入，输出优化后的脉搏波形。
• 判别器将生成信号与脉搏血氧仪获取的真实 PPG 信号进行对比评估，并将输入信号作为条件因子。
• 结合对抗损失、时域波形误差损失和频域谱误差损失，以确保波形在时域和频域特征上的保真度。
• 模型在 UBFC-RPPG 数据集上进行端到端训练，并使用 PURE 和 BSIPL-RPPG 的数据测试跨数据库泛化能力。
• 该框架设计为模块化，可与其它基于深度学习的 rPPG 方法集成，以提升其性能。

实验结果

研究问题

• RQ1 基于 GAN 的框架是否能生成比传统去噪或基线 rPPG 方法更逼真的 rPPG 脉搏波形？
• RQ2 引入时域与频域损失是否能提升波形保真度和 HRV 指标的准确性？
• RQ3 PulseGAN 框架在跨数据库测试中对不同数据集的泛化能力如何？
• RQ4 所提出的框架能否有效集成到现有基于深度学习的 rPPG 方法中，以提升其输出质量？

主要发现

• 在跨数据库测试中，PulseGAN 相较于 DAE 将 AVNN 的平均绝对误差（MAE）降低了 20.85%，相较于 CHROM 降低了 41.19%。
• 在跨数据库场景下，SDNN 的 MAE 相较于 DAE 改善了 20.28%，相较于 CHROM 改善了 37.53%。
• 与 DAE 相比，PulseGAN 显著降低了 IBI 向量的 MAE，误差分布更接近真实值。
• Bland-Altman 图显示，PulseGAN 的 HR 预测结果与参考值的一致性优于 DAE 和 CHROM。
• 视觉对比显示，PulseGAN 生成的波形和 IBI 序列比 DAE 和 CHROM 更接近真实值。
• 在跨数据库评估中，PulseGAN 在 UBFC-RPPG 数据集上实现了最佳 HR 估计性能，HR 的 MAE 为 2.09 bpm，RMSE 为 4.42 bpm。