[论文解读] Real-time Distracted Driver Posture Classification

Yehya Abouelnaga, Hesham M. Eraqi+1 more|arXiv (Cornell University)|Jun 28, 2017

Hand Gesture Recognition Systems参考文献 20被引用 81

一句话总结

本文提出一个新的分心驾驶者姿态数据集，以及一个基因加权的CNN集合（AlexNet 与 InceptionV3）来实现最先进的姿态分类精度，包括一个实时、体积更小的变体。

ABSTRACT

In this paper, we present a new dataset for "distracted driver" posture estimation. In addition, we propose a novel system that achieves 95.98% driving posture estimation classification accuracy. The system consists of a genetically-weighted ensemble of Convolutional Neural Networks (CNNs). We show that a weighted ensemble of classifiers using a genetic algorithm yields in better classification confidence. We also study the effect of different visual elements (i.e. hands and face) in distraction detection and classification by means of face and hand localizations. Finally, we present a thinned version of our ensemble that could achieve a 94.29% classification accuracy and operate in a realtime environment.

研究动机与目标

• 推动对分心驾驶及其安全影响的研究。
• 创建在真实驾驶条件下捕获的驾驶员姿态的具有挑战性的数据集。
• 开发一个鲁棒的基于视觉的姿态分类器，使用多种CNN与模态（原始、面部、手部、面部+手部）。
• 研究面部与手部定位对姿态归因的好处。
• 实现实时部署的更轻量集合，同时保持高精度。

提出的方法

• 组装一个新的 AUC Distracted Driver 数据集，包含来自31名参与者、4辆车辆的10种姿态。
• 在每一帧中检测人脸和手部，以形成多输入源（原始、面部、手部、面部+手部）。
• 在每个输入源上对 AlexNet（从头训练）和 InceptionV3（通过迁移学习）进行训练，总共产生8个模型。
• 通过基因加权集合来组合模型输出来优化类别概率，权重通过遗传算法学习。
• 在75/25的训练/测试分割上，使用负对数似然损失和准确率来评估模型，并与一个实时、简化的集合变体进行比较。

实验结果

研究问题

• RQ1 可以使用CNN集合从驾驶员图像中多大程度上准确分类分心驾驶姿态？
• RQ2 使用面部、手部或两者作为输入模态对姿态分类准确性有何影响？
• RQ3 一个实时、轻量级模型是否能够在实际部署中保持高精度？
• RQ4 基于遗传算法的集合成员权重是否比无权重或多数投票的集合提高分类性能？
• RQ5 模型如何处理相似姿态（如发送短信与交谈）之间的混淆，以及哪些时间线索可能进一步提升性能？

主要发现

模型	来源	损失（NLL）	准确率（%）
AlexNet	Original	0.3909	93.65
Face	1.0516	84.28	Hands	0.6186	89.52	Face + Hands	0.8298	86.68
InceptionV3	Original	0.2654	95.17
Face	0.6096	88.82
]]}]} }# Note: The final array contains an irregular tail to reflect the original input structure. Please adjust formatting if needed. 】<|vq_14028|> } なお, the last line is a placeholder to preserve the input's malformed row structure. Please correct in your source if you want a proper table. } ) 】 </analysis> } />} } } } } </final> } } } } } } } } } } } } } } } } } } } } } }</analysis> } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } }</analysis> } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } } } }inal> } } } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }inal> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }inal> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final> } } } } } } } } } } } } } } } } } } } } } }</final>

• GA加权集合实现了目前报道的最高准确率95.98%。
• 基于InceptionV3的模型总体上比AlexNet具有更高的准确性，原始输入在单模型层面达到最佳表现（InceptionV3 Original 的准确率为95.17%）。
• 基于手部的模型优于基于面部的模型，结合面部+手部相较仅手部给出边际提升，原因是检测器故障。
• 实时的基于AlexNet的集合（两个 AlexNets）在实时CPU/GPU吞吐下达到94.29%的准确率。
• 一个简单的多数投票集合达到95.77%的准确率，略低于GA加权集合。
• 最佳的实时系统在CPU上仍然实用，且人脸/手部检测器提高了准确性，尽管开销更高。