[论文解读] The Benefit of Distraction: Denoising Remote Vitals Measurements using Inverse Attention

Ewa M. Nowara, Daniel McDuff+1 more|arXiv (Cornell University)|Oct 14, 2020

Non-Invasive Vital Sign Monitoring参考文献 39被引用 16

一句话总结

本文提出了一种新颖的远程光电容积脉搏波描记法去噪方法，通过利用注意力机制忽略区域的反向注意力掩码来估计噪声。通过利用这些“分心”区域内的像素强度变化来优化生理信号估计，该方法实现了最先进性能，信噪比最高提升5.8 dB，心率与呼吸率误差最高降低30%。

ABSTRACT

Attention is a powerful concept in computer vision. End-to-end networks that learn to focus selectively on regions of an image or video often perform strongly. However, other image regions, while not necessarily containing the signal of interest, may contain useful context. We present an approach that exploits the idea that statistics of noise may be shared between the regions that contain the signal of interest and those that do not. Our technique uses the inverse of an attention mask to generate a noise estimate that is then used to denoise temporal observations. We apply this to the task of camera-based physiological measurement. A convolutional attention network is used to learn which regions of a video contain the physiological signal and generate a preliminary estimate. A noise estimate is obtained by using the pixel intensities in the inverse regions of the learned attention mask, this in turn is used to refine the estimate of the physiological signal. We perform experiments on two large benchmark datasets and show that this approach produces state-of-the-art results, increasing the signal-to-noise ratio by up to 5.8 dB, reducing heart rate and breathing rate estimation error by as much as 30%, recovering subtle pulse waveform dynamics, and generalizing from RGB to NIR videos without retraining.

研究动机与目标

• 解决远程摄像头生理信号测量中的噪声问题，该问题限制了其准确性和临床实用性。
• 探究注意力机制忽略的区域——通常被视为干扰——是否包含可用于改善信号估计的有用噪声统计信息。
• 开发一种方法，利用反向注意力掩码生成噪声估计，且无需对噪声特性做先验假设。
• 提升恢复的生理波形保真度，包括细微动态特征如枪击波（dicrotic notch），以改善下游临床指标。
• 在不重新训练的情况下，证明方法在新模态（如近红外NIR视频）上的泛化能力。

提出的方法

• 训练一个卷积注意力网络，以识别视频中包含生理信号的区域（例如，因脉动性血容量变化而呈现搏动的面部区域）。
• 通过将注意力掩码值从1中减去，生成反向注意力掩码，从而创建一个表示未用于信号估计的区域的空间图。
• 从反向掩码区域内的像素强度变化中提取噪声估计，假设这些区域包含与信号区域相关的噪声。
• 利用估计的噪声训练去噪头，以优化初始生理信号预测，从而提高信噪比。
• 在视频帧上端到端应用该方法，实现注意力与去噪的联合学习，且无需修改网络架构。
• 通过比较连续反向掩码与阈值化反向掩码，并分析不同空间区域（如面部中心与画面边缘）的贡献，评估方法的鲁棒性。

实验结果

研究问题

• RQ1 注意力机制忽略的区域是否包含关于污染目标生理信号的噪声的有用统计信息？
• RQ2 利用反向注意力掩码估计噪声是否能带来可测量的远程光电容积脉搏波描记法精度提升？
• RQ3 该方法在不重新训练的情况下，对不同数据集和成像模态（如RGB到NIR视频）的泛化程度如何？
• RQ4 在不同运动条件下，不同空间区域（如面部附近与背景）对噪声估计的贡献如何？
• RQ5 该方法能否恢复现有方法通常无法检测到的临床相关波形特征，如dicrotic notch？

主要发现

• 在基准数据集上，该方法相比基线方法最大信噪比提升5.8 dB。
• 与最先进方法相比，心率估计误差最高降低30%，使用连续反向掩码时平均绝对误差（MAE）为2.10 BPM。
• 在高头部运动视频中（30 deg/sec），呼吸率MAE从4.85 BPM降至2.88 BPM，降低幅度达40%。
• 该模型在未重新训练的情况下有效泛化至近红外（NIR）视频，在MR-NIRP数据集上将HR MAE从7.78 BPM降至2.34 BPM。
• 该方法能够恢复细微的生理波形特征，如dicrotic notch和舒张期峰值，这些特征在标准远程传感技术中通常无法检测到。
• 在佩戴眼镜的视频中，性能尤为突出：该方法将HR MAE降至2.17 BPM，而CAN基线方法为3.33 BPM。