[论文解读] Vision Transformers and YoloV5 based Driver Drowsiness Detection Framework

Ghanta Sai Krishna, Kundrapu Supriya+2 more|arXiv (Cornell University)|Sep 3, 2022

Sleep and Work-Related FatiguePsychology被引用 19

一句话总结

本文提出了一种新型的驾驶员困倦检测框架，结合 YOLOv5 进行面部检测和视觉变换器（ViT）进行困倦状态的二分类。在 UTA-RLDD 数据集上进行训练后，ViT 模型在验证集上达到了 97.4% 的准确率；在包含 39 名参与者的自定义数据集上，于不同光照条件下也达到了 95.5% 的准确率，表明该框架在智能交通系统中具有出色的现实适用性。

ABSTRACT

Human drivers have distinct driving techniques, knowledge, and sentiments due to unique driving traits. Driver drowsiness has been a serious issue endangering road safety; therefore, it is essential to design an effective drowsiness detection algorithm to bypass road accidents. Miscellaneous research efforts have been approached the problem of detecting anomalous human driver behaviour to examine the frontal face of the driver and automobile dynamics via computer vision techniques. Still, the conventional methods cannot capture complicated driver behaviour features. However, with the origin of deep learning architectures, a substantial amount of research has also been executed to analyze and recognize driver's drowsiness using neural network algorithms. This paper introduces a novel framework based on vision transformers and YoloV5 architectures for driver drowsiness recognition. A custom YoloV5 pre-trained architecture is proposed for face extraction with the aim of extracting Region of Interest (ROI). Owing to the limitations of previous architectures, this paper introduces vision transformers for binary image classification which is trained and validated on a public dataset UTA-RLDD. The model had achieved 96.2\% and 97.4\% as it's training and validation accuracies respectively. For the further evaluation, proposed framework is tested on a custom dataset of 39 participants in various light circumstances and achieved 95.5\% accuracy. The conducted experimentations revealed the significant potential of our framework for practical applications in smart transportation systems.

研究动机与目标

• 为应对每年因困倦驾驶导致数千起伤亡事故而上升的事故率。
• 克服传统方法在捕捉复杂驾驶员行为特征方面的局限性。
• 利用深度学习架构开发一种稳健且实时的困倦检测系统。
• 在面部检测与分类方面，提升现有基于 CNN 和传统计算机视觉方法的性能。
• 在不同光照和遮挡条件下，于多样化的真实世界自定义数据集上验证该框架的性能。

提出的方法

• 对自定义 YOLOv5 模型进行微调，以从驾驶员正面视图中准确检测面部并提取感兴趣区域（ROI）。
• 应用数据增强技术，提升模型在不同光照条件和面部遮挡场景下的泛化能力。
• 设计一种视觉变换器（ViT）架构，用于对困倦与非困倦状态进行二值图像分类。
• 在公开的 UTA-RLDD 数据集上训练并验证 ViT 模型，分别取得 96.2% 的训练准确率和 97.4% 的验证准确率。
• 在包含 39 名参与者、涵盖白天、傍晚和夜间条件的自定义数据集上评估完整流程，且面部覆盖情况各异。
• 使用标准指标（包括精确率、敏感度和 F1 分数）评估模型性能。

实验结果

研究问题

• RQ1 基于 YOLOv5 的面部检测系统能否在实时场景中有效提取用于困倦分析的相关面部区域？
• RQ2 基于视觉变换器的分类器相较于传统 CNN 在从面部图像中分类驾驶员困倦状态方面表现如何？
• RQ3 该框架在具有可变光照和遮挡条件的真实世界自定义数据集上的表现如何？
• RQ4 YOLOv5 与 ViT 的集成是否相比现有困倦检测模型展现出更高的准确率和更强的鲁棒性？
• RQ5 光照条件（白天、傍晚、夜间）如何影响 ViT 模型的分类准确率？

主要发现

• 视觉变换器模型在 UTA-RLDD 公开数据集上达到 97.4% 的验证准确率，表明其在标准基准上的强大泛化能力。
• 在包含 39 名参与者的自定义数据集中，ViT 模型达到 95.5% 的测试准确率，展现出优异的真实世界性能。
• 模型在傍晚条件下的表现最佳（准确率 97.8%），归因于光照条件理想；夜间表现最差（准确率 92.8%），主要受低光照挑战影响。
• 模型实现了高精确率（0.97）、高敏感度（0.98）和高 F1 分数（0.97），表明其分类性能稳健且均衡。
• YOLOv5 面部检测组件实现了约 95% 的 mAP，证实了其在 ROI 定位方面的有效性。
• 该框架在复杂真实场景中优于众多基于 CNN、GAN 和传统计算机视觉的现有方法。