[论文解读] Real-Time Driver Monitoring Systems through Modality and View Analysis

Yiming Ma, Víctor Sánchez+4 more|arXiv (Cornell University)|Oct 17, 2022

Sleep and Work-Related Fatigue被引用 4

一句话总结

本文提出一种基于俯视红外摄像头单帧图像输入的实时驾驶员监控系统（DMS），通过摒弃时序建模，显著降低计算量，实现SOTA性能（97.5% AUC-PR）。结果表明，仅使用俯视红外模态即可在效率与准确率上超越多模态视频基方法，实现嵌入式设备上的可部署、低延迟推理。

ABSTRACT

Driver distractions are known to be the dominant cause of road accidents. While monitoring systems can detect non-driving-related activities and facilitate reducing the risks, they must be accurate and efficient to be applicable. Unfortunately, state-of-the-art methods prioritize accuracy while ignoring latency because they leverage cross-view and multimodal videos in which consecutive frames are highly similar. Thus, in this paper, we pursue time-effective detection models by neglecting the temporal relation between video frames and investigate the importance of each sensing modality in detecting drives' activities. Experiments demonstrate that 1) our proposed algorithms are real-time and can achieve similar performances (97.5\% AUC-PR) with significantly reduced computation compared with video-based models; 2) the top view with the infrared channel is more informative than any other single modality. Furthermore, we enhance the DAD dataset by manually annotating its test set to enable multiclassification. We also thoroughly analyze the influence of visual sensor types and their placements on the prediction of each class. The code and the new labels will be released.

研究动机与目标

• 开发可部署于嵌入式车载硬件的实时、计算高效驾驶员监控系统（DMS）。
• 探究不同视觉模态（RGB、深度、红外）与相机位置（俯视、前视）在检测非驾驶相关活动（NDRAs）中的相对重要性。
• 通过人工标注测试集，增强DAD数据集，支持驾驶员行为的多分类任务。
• 评估基于图像与基于视频的DMS架构在准确率与推理效率之间的权衡。
• 识别最适合实时DMS部署的最优单模态与相机配置。

提出的方法

• 作者采用单帧图像而非视频片段，以消除时序建模，显著降低FLOPs与推理时间。
• 通过特征级融合与决策级融合策略，在不同相机视角（俯视、前视）下评估多种模态组合（RGB、深度、红外）的性能。
• 采用ResNet-18与MobileNet-V2作为骨干网络进行特征提取，模型在DAD数据集上进行二分类与多分类训练。
• 在ARM64与AMD64平台对比推理效率，验证在嵌入式约束下的实时性能。
• 对DAD测试集进行人工重新标注，添加具体活动类别，以支持多分类评估与类别层面分析。
• 采用AUC-PR与AUC-ROC评估性能，并对模态与视角组合进行消融实验。

实验结果

研究问题

• RQ1 基于图像的模型能否在实现与基于视频模型相当的准确率的同时，实现在嵌入式系统中的实时推理？
• RQ2 哪种视觉模态（RGB、深度、红外）与相机视角（俯视、前视）能为驾驶员行为识别提供最具信息量的特征？
• RQ3 省略时序建模对驾驶员监控系统检测性能有何影响？
• RQ4 数据不平衡与主干网络容量对多分类性能有何影响？
• RQ5 单一优化模态与视角组合能否在准确率与效率上均超越多模态视频基方法？

主要发现

• 基于图像的模型实现97.5% AUC-PR与95.6% AUC-ROC，性能与SOTA视频基模型相当，同时FLOPs降低高达10倍。
• 仅使用俯视红外（IR）模态即达到所有单模态配置中的最高性能（97.1% AUC-PR）。
• 在ARM64（M1 Pro）平台，基于图像的模型推理时间低于0.03秒，满足45 Hz视频流（每帧≤0.3556秒）的实时性要求。
• 在融合双视角时，特征级融合优于决策级融合，（俯视+前视）红外组合实现96.7% AUC-PR。
• 俯视红外模态显著降低手机相关分心行为与正常驾驶之间的混淆，表明其具备极强的判别能力。
• 尽管二分类性能优异，多分类任务仍具挑战，主要受限于数据不平衡及ResNet-18的表征能力有限。