[论文解读] Using image-extracted features to determine heart rate and blink duration for driver sleepiness detection

Erfan Darzi, Mohammadie-Zand, Armin+1 more|arXiv (Cornell University)|Nov 4, 2019

Non-Invasive Vital Sign Monitoring参考文献 16被引用 4

一句话总结

本文提出了一种非侵入式、远程的驾驶员困倦检测系统，通过图像提取的特征来估计心率和眨眼持续时间。该系统采用面部视频分析结合人工神经网络（ANN）和线性判别分析（LDA）进行眼态分类，并利用独立分量分析（ICA）和基于色度的方法进行心率估计，眨眼检测准确率达到92%，心率估计的平均误差为13 BPM。

ABSTRACT

Heart rate and blink duration are two vital physiological signals which give information about cardiac activity and consciousness. Monitoring these two signals is crucial for various applications such as driver drowsiness detection. As there are several problems posed by the conventional systems to be used for continuous, long-term monitoring, a remote blink and ECG monitoring system can be used as an alternative. For estimating the blink duration, two strategies are used. In the first approach, pictures of open and closed eyes are fed into an Artificial Neural Network (ANN) to decide whether the eyes are open or close. In the second approach, they are classified and labeled using Linear Discriminant Analysis (LDA). The labeled images are then be used to determine the blink duration. For heart rate variability, two strategies are used to evaluate the passing blood volume: Independent Component Analysis (ICA); and a chrominance based method. Eye recognition yielded 78-92% accuracy in classifying open/closed eyes with ANN and 71-91% accuracy with LDA. Heart rate evaluations had a mean loss of around 16 Beats Per Minute (BPM) for the ICA strategy and 13 BPM for the chrominance based technique.

研究动机与目标

• 开发一种基于图像生理信号的远程、非侵入式驾驶员困倦检测系统。
• 通过基于视频的监测方法，克服传统可穿戴传感器的局限性，实现实时、长期的连续评估。
• 通过融合面部图像中提取的眨眼持续时间和心率变异性，提高困倦检测的准确性和可靠性。
• 评估并比较多种机器学习与信号处理技术在眼态分类和心率估计中的表现。
• 为实时驾驶员监测系统提供一种实用且低成本的可穿戴设备替代方案。

提出的方法

• 捕获面部视频序列，提取与眼态（张开/闭合）和血容量变化相关的特征。
• 使用人工神经网络（ANN）从图像中分类眼态，准确率在78%至92%之间。
• 采用线性判别分析（LDA）作为眼态分类的替代方法，准确率在71%至91%之间。
• 应用独立分量分析（ICA）从面部视频信号中估计心率，平均误差约为16 BPM。
• 实施基于色度的方法以估计心率变异性，平均误差降低至约13 BPM。
• 结合眨眼持续时间估计与心率变异性，实现实时驾驶员困倦评估。

实验结果

研究问题

• RQ1 能否通过面部视频图像提取的特征准确估计眨眼持续时间以实现驾驶员困倦检测？
• RQ2 ANN和LDA在从静态图像中分类睁眼与闭眼状态方面效果如何？
• RQ3 在面部视频中，ICA与基于色度的分析方法，哪种信号处理方法能更准确地估计心率？
• RQ4 眨眼持续时间与心率变异性相结合对困倦检测性能有何综合影响？
• RQ5 非接触式、基于视频的系统是否能在长期连续监测中优于传统的可穿戴传感器？

主要发现

• 基于ANN的方法在从面部图像中分类睁眼与闭眼状态方面，准确率达到78%至92%。
• 基于LDA的方法在眼态分类中准确率达到71%至91%，表现出对不同受试者的良好鲁棒性。
• 基于ICA的心率估计方法平均误差约为16次/分钟（BPM）。
• 基于色度的心率估计方法平均误差更低，约为13 BPM，优于ICA方法。
• 通过图像提取特征融合眨眼持续时间与心率变异性，可实现可靠且非侵入式的困倦检测。
• 该系统在无需可穿戴传感器的情况下，展示了实现实时远程驾驶员疲劳监测的可行性。