[论文解读] Sliding Sequential CVAE with Time Variant Socially-aware Rethinking for Trajectory Prediction

Hao Zhou, Dongchun Ren+3 more|arXiv (Cornell University)|Oct 28, 2021

Autonomous Vehicle Technology and Safety参考文献 33被引用 4

一句话总结

本文提出 CSR，一种级联的条件变分自编码器，结合社会感知重思考机制，用于行人轨迹预测。该方法通过利用更新后的历史轨迹和预测点，分步预测未来轨迹点，并通过社会交互建模对结果进行精细化修正。该方法在 SDD 和 ETH/UCY 数据集上分别将 ADE 降低 38.0% 和 22.2%，性能达到当前最先进水平。此外，引入的高效滑动 CVAE 变体将模型参数量减少 85.9%，推理速度提升 6.3 倍。

ABSTRACT

Pedestrian trajectory prediction is a key technology in many applications such as video surveillance, social robot navigation, and autonomous driving, and significant progress has been made in this research topic. However, there remain two limitations of previous studies. First, with the continuation of time, the prediction error at each time step increases significantly, causing the final displacement error to be impossible to ignore. Second, the prediction results of multiple pedestrians might be impractical in the prediction horizon, i.e., the predicted trajectories might collide with each other. To overcome these limitations, this work proposes a novel trajectory prediction method called CSR, which consists of a cascaded conditional variational autoencoder (CVAE) module and a socially-aware regression module. The cascaded CVAE module first estimates the future trajectories in a sequential pattern. Specifically, each CVAE concatenates the past trajectories and the predicted points so far as the input and predicts the location at the following time step. Then, the socially-aware regression module generates offsets from the estimated future trajectories to produce the socially compliant final predictions, which are more reasonable and accurate results than the estimated trajectories. Moreover, considering the large model parameters of the cascaded CVAE module, a slide CVAE module is further exploited to improve the model efficiency using one shared CVAE, in a slidable manner. Experiments results demonstrate that the proposed method exhibits improvements over state-of-the-art method on the Stanford Drone Dataset (SDD) and ETH/UCY of approximately 38.0% and 22.2%, respectively.

研究动机与目标

• 解决长时程行人轨迹预测中随时间累积的预测误差问题。
• 解决行人轨迹预测中出现的社交不一致现象，如行人发生碰撞或违反交互规范。
• 在不牺牲性能的前提下提升序列化轨迹预测模型的效率。
• 开发一种方法，利用预测点作为伪标签，以降低后续预测中的不确定性。
• 将社会交互建模整合到预测修正过程中，以生成更真实、更符合社会规范的轨迹。

提出的方法

• 级联 CVAE 模块通过将每个预测点基于历史轨迹和所有先前预测点进行条件化，实现对未来轨迹点的顺序预测，将这些预测点视为伪标签以降低不确定性。
• 级联中的每个 CVAE 使用共享的潜在空间，但独立运行，其输入由历史轨迹和累积的预测点组成。
• 社会感知回归模块通过从历史轨迹和预测轨迹中提取交互特征，对预测轨迹进行精细化修正，以确保社会行为合规。
• 引入滑动 CVAE 模块以替代非共享的 CVAE，采用滑动窗口方式使用单一共享 CVAE，显著减少模型参数并提升推理速度。
• 模型采用端到端训练，CVAE 使用重构损失，社会感知修正模块使用回归损失。
• 通过动态建模随预测位置演变的交互关系，实现时间可变的社会重思考，提升复杂场景下的轨迹真实性。

实验结果

研究问题

• RQ1 利用更新后的历史轨迹和预测点进行序列化预测，是否能有效降低长时程行人轨迹预测中的误差？
• RQ2 如何有效建模行人之间的社会交互，以生成无碰撞且真实的轨迹预测？
• RQ3 在滑动窗口机制中采用共享 CVAE 架构，是否能在显著减少模型参数的同时保持性能并提升推理速度？
• RQ4 通过社会交互特征对预测轨迹进行修正，能在多大程度上提升预测精度和轨迹真实性？
• RQ5 在多样化行人交互场景下，该方法与当前最先进方法相比，在 ADE 和 FDE 指标上的表现如何？

主要发现

• 所提出的 CSR 方法在斯坦福无人机数据集（SDD）上相较当前最先进方法，将 ADE 相对降低 38.0%。
• 在 ETH/UCY 基准测试中，CSR 相较于最佳现有方法将 ADE 降低 22.2%。
• 社会感知回归模块在 ETH/UCY 上使性能提升 17.6%，在 SDD 上提升 20.4%（以 ADE 衡量），证明其在优化社会合规轨迹方面的有效性。
• 滑动 CVAE 变体相较级联 CVAE 将模型参数量减少 85.9%，推理速度提升 6.3 倍，同时在 SDD 上使 ADE 进一步降低 43.1%。
• 定性结果表明，与 PECNet 相比，CSR 在复杂交互场景（如穿越和避让）中生成的轨迹更具真实性和无碰撞性。
• 该方法在所有评估指标上均优于现有 SOTA 模型，在行人轨迹预测任务中确立了新的最先进性能。