[论文解读] Pedestrian Intention Prediction: A Multi-task Perspective

Smail Ait Bouhsain, Saeed Saadatnejad+1 more|arXiv (Cornell University)|Oct 20, 2020

Autonomous Vehicle Technology and Safety参考文献 28被引用 5

一句话总结

该论文提出一种基于循环神经网络的多任务学习方法，通过车载摄像头视角的序列数据，联合预测行人的意图和边界框状态（位置、宽度、高度）。通过在意图预测头与视觉状态预测头之间共享特征，该方法在意图预测任务上达到最先进性能，在边界框预测任务上表现具有竞争力，且推理速度比以往方法快两倍以上。

ABSTRACT

In order to be globally deployed, autonomous cars must guarantee the safety of pedestrians. This is the reason why forecasting pedestrians' intentions sufficiently in advance is one of the most critical and challenging tasks for autonomous vehicles. This work tries to solve this problem by jointly predicting the intention and visual states of pedestrians. In terms of visual states, whereas previous work focused on x-y coordinates, we will also predict the size and indeed the whole bounding box of the pedestrian. The method is a recurrent neural network in a multi-task learning approach. It has one head that predicts the intention of the pedestrian for each one of its future position and another one predicting the visual states of the pedestrian. Experiments on the JAAD dataset show the superiority of the performance of our method compared to previous works for intention prediction. Also, although its simple architecture (more than 2 times faster), the performance of the bounding box prediction is comparable to the ones yielded by much more complex architectures. Our code is available online.

研究动机与目标

• 通过实现对行人意图的早期且准确预测，提升自动驾驶安全性。
• 解决以往研究仅单独关注轨迹预测或意图预测的局限性。
• 通过联合建模边界框（x, y, w, h）与意图，提升视觉状态预测性能，利用共享表征。
• 在轻量化架构下实现高精度，且显著快于现有方法。
• 通过共享特征学习，验证多任务学习在提升意图预测与视觉状态预测性能方面的优势。

提出的方法

• 使用单个循环神经网络（RNN），配备两个独立输出头：一个用于行人意图预测（过街 vs. 不过街），另一个用于边界框预测（x, y, w, h）。
• 通过在训练过程中反向传播意图与边界框预测损失的加权和，实现多任务学习。
• 处理来自车载摄像头视角的行人边界框序列，捕捉运动动态与空间上下文信息。
• 在每个未来时间步预测意图，实现长时程预测而非单步分类。
• 将边界框预测视为回归任务，预测中心坐标与尺寸，使用IOU相关指标（AIOU、FIOU）进行评估。
• 在准确率与推理速度之间进行优化，使模型参数量更少，推理速度显著快于最先进基线方法。

实验结果

研究问题

• RQ1 与单任务方法相比，联合预测行人意图与完整边界框状态是否能提升预测准确性？
• RQ2 通过共享表征的多任务学习是否能同时提升意图预测与视觉状态预测的性能？
• RQ3 更简单、更快的架构能否在行人状态预测任务中实现与复杂模型相当或更优的性能？
• RQ4 在不同观测与预测时序范围内，该模型性能如何，特别是在长期预测场景下？
• RQ5 建模边界框的速度与运动动态在多大程度上能提升意图预测性能？

主要发现

• 所提出的多任务模型在JAAD数据集上实现最先进性能，在行人意图预测任务中优于以往方法。
• 在短期预测（输入0.3秒，输出0.6秒）中，模型达到10.22像素的ADE与73.2%的AIOU，表明边界框预测具有高精度。
• 在1920×1080分辨率下，ADE降低至9像素，误差小于1%，展现出极高的中心位置预测精度。
• 在短序列中FIOU得分为62.8%，证实对边界框中心与尺寸的预测均高度精确。
• 尽管结构简单，该模型推理速度超过以往方法两倍以上，同时保持或提升了性能。
• 消融实验表明，多任务学习通过共享有用表征，有效提升了两个输出头的性能，尤其在车辆移动、行人静止等复杂场景中表现更优。