[论文解读] Safe Control Transitions: Machine Vision Based Observable Readiness Index and Data-Driven Takeover Time Prediction

Ross Greer, Nachiket Deo+3 more|arXiv (Cornell University)|Jan 14, 2023

Human-Automation Interaction and SafetyPsychology被引用 3

一句话总结

本文提出一种基于机器视觉的系统，用于在自动驾驶车辆换驾过程中预测驾驶员的准备就绪状态和接管时间，利用多视角摄像头输入来估计手部、视线和活动特征。该系统在不同摄像头角度下表现出稳健性能，并引入了接管后性能指标，显示出接管前预测结果与驾驶稳定性之间存在强烈相关性。

ABSTRACT

To make safe transitions from autonomous to manual control, a vehicle must have a representation of the awareness of driver state; two metrics which quantify this state are the Observable Readiness Index and Takeover Time. In this work, we show that machine learning models which predict these two metrics are robust to multiple camera views, expanding from the limited view angles in prior research. Importantly, these models take as input feature vectors corresponding to hand location and activity as well as gaze location, and we explore the tradeoffs of different views in generating these feature vectors. Further, we introduce two metrics to evaluate the quality of control transitions following the takeover event (the maximal lateral deviation and velocity deviation) and compute correlations of these post-takeover metrics to the pre-takeover predictive metrics.

研究动机与目标

• 通过量化驾驶员状态准备就绪程度，实现从自动驾驶到人工驾驶的安全过渡。
• 开发一种基于数据的模型，利用可观察的驾驶员行为预测接管时间。
• 评估不同摄像头视角对准备就绪状态与接管时间估计准确性的影响。
• 引入并分析控制切换后的行为性能指标（横向偏差与速度偏差）。
• 将接管前的预测指标与接管后的驾驶稳定性进行关联，以验证安全性。

提出的方法

• 使用多视角摄像头系统捕捉驾驶员手部位置、活动状态和视线位置作为输入特征。
• 采用机器学习模型，基于从视觉观测中提取的特征向量，预测可观察准备就绪指数（Observable Readiness Index）和接管时间。
• 评估模型在不同摄像头角度下的鲁棒性，分析特征质量与预测准确性之间的权衡。
• 引入两种接管后性能指标：最大横向偏差和与目标轨迹的速度偏差。
• 计算接管前预测指标（准备就绪指数、接管时间）与接管后驾驶稳定性指标之间的皮尔逊相关系数。
• 使用包含多种摄像头配置的真实道路驾驶数据验证模型性能。

实验结果

研究问题

• RQ1 在多个摄像头视角下，接管时间与准备就绪指数预测的准确性如何变化？
• RQ2 接管前的驾驶员状态预测与接管后的驾驶稳定性之间存在何种关系？
• RQ3 不同摄像头角度下提取的手部与视线特征表示如何影响模型性能？
• RQ4 所提出的接管后性能指标（横向偏差与速度偏差）与接管前预测指标的相关性如何？
• RQ5 基于数据驱动的模型是否能在真实道路驾驶场景中，于多种摄像头配置下保持稳健性能？

主要发现

• 所提出的用于可观察准备就绪指数与接管时间预测的机器学习模型在多种摄像头视角下表现出稳健性，优于单视角方法。
• 预测接管时间与实际接管后横向偏差之间具有高度相关性，表明对过渡稳定性的预测具有可靠性。
• 与有限视角设置相比，多视角输入中提取的视线与手部活动特征显著提升了预测准确性。
• 观察到可观察准备就绪指数与接管后横向偏差之间存在强烈的负相关性，证实准备就绪程度越高，过渡越平稳。
• 接管后速度偏差也与接管前指标相关，验证了该模型对整体控制过渡质量的预测能力。
• 该系统在不同摄像头角度下保持一致的性能表现，表明其在真实自动驾驶车辆系统中具备实际可部署性。