[论文解读] Towards Evaluating Driver Fatigue with Robust Deep Learning Models

Ken Alparslan, Yigit Alparslan+1 more|arXiv (Cornell University)|Jul 16, 2020

Sleep and Work-Related Fatigue参考文献 25被引用 7

一句话总结

本论文提出了一种基于卷积神经网络在眼部和面部图像块上进行眼睑闭合分类的鲁棒深度学习框架，用于驾驶员疲劳检测。该框架在眼部模型上实现了95.84%的准确率，并通过对抗性训练和数据增强将面部模型性能提升了6%，同时将模型量化至19 MB以实现移动端部署。

ABSTRACT

In this paper, we explore different deep learning based approaches to detect driver fatigue. Drowsy driving results in approximately 72,000 crashes and 44,000 injuries every year in the US and detecting drowsiness and alerting the driver can save many lives. There have been many approaches to detect fatigue, of which eye closedness detection is one. We propose a framework to detect eye closedness in a captured camera frame as a gateway for detecting drowsiness. We explore two different datasets to detect eye closedness. We develop an eye model by using new Eye-blink dataset and a face model by using the Closed Eyes in the Wild (CEW). We also explore different techniques to make the models more robust by adding noise. We achieve 95.84% accuracy on our eye model and 80.01% accuracy on our face model. We also see that we can improve our accuracy on the face model by 6% via adversarial training and data augmentation. We hope that our work will be useful to the field of driver fatigue detection to avoid potential vehicle accidents related to drowsy driving.

研究动机与目标

• 开发一种成本低廉、可部署于移动端的驾驶员疲劳检测解决方案，以预防困倦驾驶引发的事故。
• 解决疲劳检测系统在真实环境下高误报率和高漏报率的挑战。
• 提升模型对光照变化、姿态变化和遮挡等环境扰动的鲁棒性。
• 通过适配移动端的模型，使疲劳检测系统超越豪华车辆的范畴，实现更广泛的应用。
• 通过对抗性训练和数据增强技术，优化模型的效率与准确率。

提出的方法

• 在自建的Eye-blink数据集上训练深度卷积神经网络，以高精度分类眼睑闭合状态（睁眼与闭眼）。
• 在Closed Eyes in the Wild (CEW)数据集上训练第二个模型，从完整面部图像中检测眼睑闭合，以模拟真实世界条件。
• 应用数据增强技术，包括剪切、缩放和重采样，以模拟对抗性环境条件并提升模型鲁棒性。
• 通过注入噪声的对抗性训练，模拟黑盒对抗攻击（如光照不良、运动模糊）以增强泛化能力。
• 冻结已训练模型，并将其转换为TensorFlow Lite (TFLite) 格式，以实现高效移动端部署，模型大小约为19 MB。
• 使用标准指标（准确率、精确率、召回率和F1分数）在训练集和测试集上评估性能。

实验结果

研究问题

• RQ1 仅使用眼部图像块，深度学习模型能否在眼睑闭合检测中实现高准确率？
• RQ2 在准确率和鲁棒性方面，基于面部图像的模型与基于眼部图像块的模型相比表现如何？
• RQ3 通过数据增强进行对抗性训练在多大程度上能提升泛化能力并减少疲劳检测中的假阴性？
• RQ4 所提出的模型能否在不显著损失准确率的前提下，被高效量化并部署于移动设备？
• RQ5 环境扰动（如光照、姿态、遮挡）对模型性能有何影响？对抗性训练能否缓解这些影响？

主要发现

• 眼部模型在测试集上达到95.84%的准确率，比面部模型高出2个百分点。
• 面部模型在未使用对抗性训练时准确率为80.01%，经对抗性训练与数据增强后提升至86.01%。
• 对抗性训练减少了过拟合，并将召回率提高了约5%，从而降低了眼睑闭合检测中的假阴性。
• 基线面部模型的训练准确率高于测试准确率，表明存在过拟合现象，而对抗性训练有效缓解了该问题。
• 在训练中使用数据增强和对抗性噪声，使得在一项实验中移除数据增强后，精确率、召回率和F1分数仍提升了12%。
• 所有模型均成功量化为TensorFlow Lite格式，模型大小稳定在约19 MB，具备潜在的移动端部署能力。