[论文解读] When Do Drivers Concentrate? Attention-based Driver Behavior Modeling With Deep Reinforcement Learning

Xingbo Fu, Gao, Feng+1 more|arXiv (Cornell University)|Feb 26, 2020

Autonomous Vehicle Technology and Safety参考文献 14被引用 4

一句话总结

本文提出ATD3，一种基于注意力机制的演员-critic强化学习框架，利用真实轨迹数据建模车辆跟驰场景中驾驶员的时间注意力分配。通过在演员网络中集成时间注意力机制，并采用TD3进行价值估计，该模型在预测驾驶员行为方面优于七个基线模型，揭示了在速度突然下降时注意力从均匀分布转向近期观测的现象，为分心行为模式提供了新见解。

ABSTRACT

Driver distraction a significant risk to driving safety. Apart from spatial domain, research on temporal inattention is also necessary. This paper aims to figure out the pattern of drivers' temporal attention allocation. In this paper, we propose an actor-critic method - Attention-based Twin Delayed Deep Deterministic policy gradient (ATD3) algorithm to approximate a driver' s action according to observations and measure the driver' s attention allocation for consecutive time steps in car-following model. Considering reaction time, we construct the attention mechanism in the actor network to capture temporal dependencies of consecutive observations. In the critic network, we employ Twin Delayed Deep Deterministic policy gradient algorithm (TD3) to address overestimated value estimates persisting in the actor-critic algorithm. We conduct experiments on real-world vehicle trajectory datasets and show that the accuracy of our proposed approach outperforms seven baseline algorithms. Moreover, the results reveal that the attention of the drivers in smooth vehicles is uniformly distributed in previous observations while they keep their attention to recent observations when sudden decreases of relative speeds occur. This study is the first contribution to drivers' temporal attention and provides scientific support for safety measures in transportation systems from the perspective of data mining.

研究动机与目标

• 建模驾驶员在动态驾驶场景中，特别是在相对速度变化时，注意力随时间的分配方式。
• 填补驾驶安全研究中关于时间注意力缺失（而非仅空间分心）的空白。
• 开发一种深度强化学习框架，利用注意力机制捕捉驾驶员行为中的时间依赖性。
• 通过建模注意力动态，提高车辆跟驰任务中的行为预测准确性。

提出的方法

• 提出ATD3，一种结合注意力机制与双延迟深度确定性策略梯度（TD3）的演员-critic算法。
• 在演员网络中集成时间注意力机制，根据对当前决策的相关性对历史观测进行加权。
• 在评论家网络中使用TD3以减少价值函数学习中的过估计偏差。
• 在真实世界车辆轨迹数据集上端到端训练模型，以预测车辆跟驰任务中的驾驶员行为。
• 通过关注连续观测来建模反应时间，捕捉驾驶员行为中的时间依赖性。
• 采用双网络架构，其中演员基于注意力观测生成动作，评论家评估动作价值。

实验结果

研究问题

• RQ1 驾驶员在车辆跟驰任务中如何在时间维度上分配注意力？
• RQ2 当相对速度突然变化时，驾驶员注意力分配呈现出何种模式？
• RQ3 与基线模型相比，结合注意力机制的深度强化学习能否提高驾驶员行为预测的准确性？
• RQ4 引入时间注意力后，模型捕捉驾驶员行为动态的能力有何变化？

主要发现

• 所提出的ATD3模型在真实世界轨迹数据集上的预测准确率高于七个基线算法。
• 在跟驰平稳车辆时，驾驶员对过去观测的注意力呈均匀分布。
• 在相对速度突然下降时，驾驶员将注意力转向更近期的观测。
• 注意力机制成功捕捉了驾驶员行为中的时间动态，揭示了依赖上下文的注意力模式。