[论文解读] Robot Navigation in Crowds by Graph Convolutional Networks with Attention Learned from Human Gaze

Yuying Chen, Congcong Liu+2 more|arXiv (Cornell University)|Sep 23, 2019

Anomaly Detection Techniques and Applications参考文献 29被引用 8

一句话总结

本文提出一种结合人类注视学习注意力机制的图卷积网络（GCN），用于人群中的机器人导航，通过聚焦于显著行人来提升策略学习效果。通过将注视导出的注意力机制整合进基于GCN的强化学习框架，该方法在密集的真实世界数据集上相较最先进方法实现了18.4%更高的成功率和16.4%更优的时间效率。

ABSTRACT

Safe and efficient crowd navigation for mobile robot is a crucial yet challenging task. Previous work has shown the power of deep reinforcement learning frameworks to train efficient policies. However, their performance deteriorates when the crowd size grows. We suggest that this can be addressed by enabling the network to identify and pay attention to the humans in the crowd that are most critical to navigation. We propose a novel network utilizing a graph representation to learn the policy. We first train a graph convolutional network based on human gaze data that accurately predicts human attention to different agents in the crowd. Then we incorporate the learned attention into a graph-based reinforcement learning architecture. The proposed attention mechanism enables the assignment of meaningful weightings to the neighbors of the robot, and has the additional benefit of interpretability. Experiments on real-world dense pedestrian datasets with various crowd sizes demonstrate that our model outperforms state-of-art methods by 18.4% in task accomplishment and by 16.4% in time efficiency.

研究动机与目标

• 通过提升对关键行人的关注，缓解深度强化学习在高密度人群中的性能下降问题。
• 通过将机器人-行人交互表示为具有可学习邻接权重的动态图，更有效地建模人群动态。
• 利用人类注视数据训练注意力机制，以识别导航决策中最相关的行人。
• 通过基于图的特征聚合提升导航策略的可解释性与可扩展性，适应不同规模的人群。
• 在真实世界密集行人场景中，同时在成功率和导航效率方面超越现有方法。

提出的方法

• 首先在人类注视数据上训练一个两层图卷积网络（GCN），以预测周围行人的注意力权重。
• 将学习到的基于注视的注意力用于调制第二个GCN的邻接矩阵，该GCN用于编码机器人-人群状态。
• 将基于GCN的状态表示输入深度Q网络，以估计强化学习中动作选择的价值函数。
• 邻接矩阵随时间动态更新，以反映不断变化的交互关系与注意力分布，适应不断演化的群体配置。
• 该模型结合结构化图信息与人类注意力先验，在导航过程中优先关注显著目标。
• 消融实验对比了使用均匀、基于距离或自注意力权重的模型变体，以分离注视学习注意力的贡献。

实验结果

研究问题

• RQ1 人类注视数据能否被有效利用，以学习到更具有意义的注意力机制，用于人群中的机器人导航？
• RQ2 将基于注视的注意力整合进图卷积网络是否能提升密集人群环境中策略的性能？
• RQ3 在处理可变人群规模时，基于图的架构与序列或池化聚合方法相比表现如何？
• RQ4 图表示与学习到的注意力相结合，在多大程度上能减少导航时间并提高成功率？
• RQ5 所提出的方法在不同人群密度和复杂运动模式下是否具备鲁棒性？

主要发现

• 所提出的G-GCNRL模型在真实世界密集行人数据集上相较最先进方法实现了18.4%更高的任务完成率和16.4%更优的时间效率。
• 采用注视学习注意力的模型（G-GCNRL）相比自注意力基线（SA-GCNRL）在成功率上高出9.7%，导航时间缩短11.1%。
• 消融实验表明，与基于距离的权重相比，注视学习注意力使成功率提升10.5%；与均匀权重相比，提升5.0%。
• 在最复杂环境（NYC-GC，约30名行人/帧）中，G-GCNRL实现了最高成功率，表明其在高密度下的鲁棒性。
• 轨迹可视化显示，G-GCNRL生成的路径更平滑、更直接，而SARL则表现出犹豫和频繁的方向改变。
• 基于图的架构显著优于非图基线：U-GCNRL相比UARL（一种具有均匀注意力的SARL类模型）实现了23.7%更高的成功率和23.2%更短的导航时间。