[论文解读] SRA-LSTM: Social Relationship Attention LSTM for Human Trajectory Prediction

Yusheng Peng, Gaofeng Zhang+3 more|arXiv (Cornell University)|Mar 31, 2021

Video Surveillance and Tracking Methods参考文献 32被引用 6

一句话总结

本文提出SRA-LSTM，一种新颖的轨迹预测模型，通过将社会关系注意力机制整合到LSTM架构中，联合建模行人之间的社会关系与运动交互。通过编码相对位置以表示社会联系，并利用注意力机制动态加权邻近行人的影响，该模型在ETH和UCY数据集上实现了最先进性能，无论在个体互动还是群体互动场景中均优于现有方法。

ABSTRACT

Pedestrian trajectory prediction for surveillance video is one of the important research topics in the field of computer vision and a key technology of intelligent surveillance systems. Social relationship among pedestrians is a key factor influencing pedestrian walking patterns but was mostly ignored in the literature. Pedestrians with different social relationships play different roles in the motion decision of target pedestrian. Motivated by this idea, we propose a Social Relationship Attention LSTM (SRA-LSTM) model to predict future trajectories. We design a social relationship encoder to obtain the representation of their social relationship through the relative position between each pair of pedestrians. Afterwards, the social relationship feature and latent movements are adopted to acquire the social relationship attention of this pair of pedestrians. Social interaction modeling is achieved by utilizing social relationship attention to aggregate movement information from neighbor pedestrians. Experimental results on two public walking pedestrian video datasets (ETH and UCY), our model achieves superior performance compared with state-of-the-art methods. Contrast experiments with other attention methods also demonstrate the effectiveness of social relationship attention.

研究动机与目标

• 解决现有轨迹预测模型忽视行人之间社会关系的局限性。
• 建模社会关系（如友谊或陌生人身份）对行人轨迹预测中运动决策的影响。
• 通过注意力机制将社会关系表征与潜在运动模式相结合，提升社会交互建模能力。
• 通过同时捕捉运动交互与社会上下文信息，提升轨迹预测准确性。
• 在公开基准数据集（ETH和UCY）上，相较于最先进方法，展示出更优性能。

提出的方法

• 设计社会关系编码器，从行人对的相对位置中提取特征，以表征其社会关系。
• 模型使用独立的LSTM，从行人观测轨迹中编码其潜在运动模式。
• 通过运动LSTM和社交关系编码器的隐藏状态计算社会关系注意力，实现对邻居影响的动态加权。
• 注意力机制基于邻居的运动模式和社交关系特征，聚合其运动信息。
• 通过社会关系注意力模块将运动LSTM输出与加权邻居信息结合，生成最终预测。
• 采用预测轨迹与真实未来轨迹之间的均方误差损失，进行端到端训练。

实验结果

研究问题

• RQ1 与仅考虑运动交互的模型相比，引入社会关系信息在多大程度上提升了轨迹预测性能？
• RQ2 社会关系注意力能否有效区分朋友与陌生人对行人运动决策的影响？
• RQ3 所提出的SRA-LSTM模型在多样化人群交互场景（包括个体与群体避让）中是否具备良好泛化能力？
• RQ4 在标准基准数据集上，该模型与最先进方法相比在定量指标上表现如何？
• RQ5 模型的失败案例是什么？在建模行人动机与场景布局方面仍存在哪些局限？

主要发现

• SRA-LSTM在ETH和UCY行人轨迹预测基准上均达到最先进性能，平均位移误差（ADE）与最终位移误差（FDE）均优于现有方法。
• 在群体避让场景中，模型表现更优，行人通过协调动作避免碰撞，其预测结果比基线模型更接近真实轨迹。
• 定性结果表明，由于社会关系注意力机制，模型能正确捕捉朋友之间的协调行为，如同步转向或路径调整。
• 消融实验表明，社会关系注意力显著提升了预测精度，优于仅依赖空间或运动特征的标准注意力机制。
• 当行人因环境约束（如墙壁）而停止时，模型表现不佳，因其无法仅从观测轨迹推断此类动机。
• 失败案例凸显了未来需整合场景布局与运动动机理解，以进一步提升模型鲁棒性。