[论文解读] Predicting Responses to a Robot's Future Motion using Generative Recurrent Neural Networks

Stuart Eiffert, Salah Sukkarieh|arXiv (Cornell University)|Sep 30, 2019

Autonomous Vehicle Technology and Safety参考文献 21被引用 10

一句话总结

本文提出一种生成式循环神经网络（ResponseRNN），通过将机器人的计划动作作为输入，预测个体（人类或动物）对机器人未来运动的响应。该模型在近距离交互中提升了轨迹预测的准确性，并可在不假设代理交互机制的前提下，模拟机器人不同动作的响应，展现出在人类与非人类代理类型间的泛化能力。

ABSTRACT

Robotic navigation through crowds or herds requires the ability to both predict the future motion of nearby individuals and understand how these predictions might change in response to a robot's future action. State of the art trajectory prediction models using Recurrent Neural Networks (RNNs) do not currently account for a planned future action of a robot, and so cannot predict how an individual will move in response to a robot's planned path. We propose an approach that adapts RNNs to use a robot's next planned action as an input alongside the current position of nearby individuals. This allows the model to learn the response of individuals with regards to a robot's motion from real world observations. By linking a robot's actions to the response of those around it in training, we show that we are able to not only improve prediction accuracy in close range interactions, but also to predict the likely response of surrounding individuals to simulated actions. This allows the use of the model to simulate state transitions, without requiring any assumptions on agent interaction. We apply this model to varied datasets, including crowds of pedestrians interacting with vehicles and bicycles, and livestock interacting with a robotic vehicle.

研究动机与目标

• 解决现有轨迹预测模型在预测人类或动物响应时未考虑机器人未来动作的局限性。
• 使机器人能够模拟周围代理对不同规划路径的反应，从而在动态环境中实现更优的路径规划。
• 从实际交互中学习真实世界的响应模式，而非依赖手工设计的社会力或避碰模型。
• 在异构代理类型（包括行人、骑车者和牲畜）之间实现泛化。
• 在无需对代理交互动力学做出显式假设的前提下，实现基于模型的状态转移模拟。

提出的方法

• 该模型在推理过程中将机器人的计划未来动作作为输入标记，扩展了循环神经网络（RNN）架构。
• 采用时空图表示法，编码所有代理（包括空间与时间关系）的过去轨迹。
• 在真实世界中机器人与人群及牲畜互动的数据集上进行训练，学习特定机器人动作下代理响应的分布。
• 采用生成式方法，可从预测的响应分布中采样，从而实现对替代机器人路径的模拟。
• 通过实际与模拟的机器人路径进行评估，将预测的代理轨迹与真实轨迹进行对比。
• RRNN-Vel变体特别将机器人速度作为动作输入的一部分，提升了对动态运动的响应建模能力。

实验结果

研究问题

• RQ1 当将机器人的计划动作作为输入时，深度学习模型能否预测个体对机器人未来运动的响应？
• RQ2 与忽略机器人运动的模型相比，将机器人动作纳入考虑后，在近距离交互中能否提升预测准确性？
• RQ3 该模型能否模拟对训练数据中未出现的假设机器人路径的代理响应？
• RQ4 该模型是否能在不同代理类型（如行人、骑车者和牲畜）之间实现泛化？
• RQ5 该模型能否用于模拟人群或牲畜中的状态转移，从而支持具备社会响应意识的迭代路径规划？

主要发现

• 所提出的ResponseRNN模型通过将机器人的计划动作作为输入，在近距离交互中实现了更优的轨迹预测准确性。
• 该模型成功预测了代理对模拟机器人路径的响应，定性结果表明其对机器人方向变化表现出合理的避让行为。
• 该模型在包括人类与牲畜在内的多种代理类型间展现出泛化能力，经ARATH与SDD数据集验证。
• 模拟响应通常反映预期行为，例如代理会绕行以避开机器人，但部分失败案例中响应与机器人路径不一致。
• 该模型可在无需假设交互动力学的前提下实现状态转移模拟，使路径规划器能够基于预测的社会响应评估不同动作。
• 失败案例包括对模拟路径的响应不一致，可能源于训练数据中机器人接近角度与速度的多样性不足。