[论文解读] SR-LSTM: State Refinement for LSTM towards Pedestrian Trajectory Prediction

Pu Zhang, Wanli Ouyang+3 more|arXiv (Cornell University)|Mar 7, 2019

Anomaly Detection Techniques and Applications参考文献 51被引用 33

一句话总结

SR-LSTM 引入一个状态细化模块，结合社交感知的信息选择，通过信息传递共同细化行人 LSTM 状态，利用当前邻居状态与自适应邻居选择。它在 ETH 和 UCY 数据集上达到最先进的结果。

ABSTRACT

In crowd scenarios, reliable trajectory prediction of pedestrians requires insightful understanding of their social behaviors. These behaviors have been well investigated by plenty of studies, while it is hard to be fully expressed by hand-craft rules. Recent studies based on LSTM networks have shown great ability to learn social behaviors. However, many of these methods rely on previous neighboring hidden states but ignore the important current intention of the neighbors. In order to address this issue, we propose a data-driven state refinement module for LSTM network (SR-LSTM), which activates the utilization of the current intention of neighbors, and jointly and iteratively refines the current states of all participants in the crowd through a message passing mechanism. To effectively extract the social effect of neighbors, we further introduce a social-aware information selection mechanism consisting of an element-wise motion gate and a pedestrian-wise attention to select useful message from neighboring pedestrians. Experimental results on two public datasets, i.e. ETH and UCY, demonstrate the effectiveness of our proposed SR-LSTM and we achieves state-of-the-art results.

研究动机与目标

• 通过结合当前邻近者的意图来推动准确的行人轨迹预测。
• 开发一个状态细化模块，通过信息传递迭代细化所有行人的 LSTM 状态。
• 引入社交感知的信息选择机制，以自适应地挑选有用的邻居特征。
• 使细化能够利用当前邻居状态，而不仅仅是过去的隐藏状态。
• 在 ETH 和 UCY 数据集上展示其有效性，达到最先进的结果。

提出的方法

• 对每个行人使用常规的 LSTM 来编码轨迹。
• 添加一个状态细化（SR）模块，通过行人之间的消息传递来细化单元状态。
• 实现一个带有行人感知的特征选择机制，具有逐行人注意力和运动门控来选择邻居特征。
• 用带有注意力和运动门控的消息传递 M 来对邻居贡献进行加权（式 7–10）。
• 允许多次细化迭代（L），在预测下一个位置之前建模更深层的交互。

实验结果

研究问题

• RQ1 当前邻居状态能否被用来更好地推断轨迹预测中的行人交互？
• RQ2 自适应特征选择（运动门控和逐行人注意力）是否提升消息传递相对于均匀加权的效果？
• RQ3 细化迭代次数对预测准确性的影响？
• RQ4 相较于现有的社交 LSTM 和基于 GAN 的方法，SR-LSTM 在 ETH/UCY 数据集上的表现如何？

主要发现

• SR-LSTM 结合社交感知消息传递在 MAD/FAD 上超越基线，在 ETH/UCY 的预测中取得更高的准确性。
• 同时使用运动门控和逐行人注意力可获得最佳改进（表 2 中的变体 5）。
• 进行多轮迭代（L）的细化可提升性能，通常两轮迭代是最优的。
• 使用当前邻居状态（而不仅仅是先前状态）显著提升预测准确性。
• 在所报告的基准上，SR-LSTM 相对于 V-LSTM、S-LSTM、SGAN 和 Sophie 具有竞争力或更优的结果（表 3）。