[论文解读] Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of Demonstrations for Social Navigation

Haresh Karnan, Anirudh Nair+7 more|arXiv (Cornell University)|Mar 28, 2022

Social Robot Interaction and HRI被引用 4

一句话总结

本论文介绍了SCAND，这是一个大规模、第一人称视角的数据集，包含8.7小时、138条社会合规导航轨迹，通过人类遥控操作在两种不同机器人（波士顿动力Spot和Clearpath Jackal）上于多样化的室内外环境中收集。该数据集包含多模态数据（3D LiDAR、操纵杆指令、里程计、视觉和IMU）以及标注的社会互动信息，支持通过模仿学习训练出社会合规的全局与局部导航策略，其在人类评估中优于基线方法。

ABSTRACT

Social navigation is the capability of an autonomous agent, such as a robot, to navigate in a 'socially compliant' manner in the presence of other intelligent agents such as humans. With the emergence of autonomously navigating mobile robots in human populated environments (e.g., domestic service robots in homes and restaurants and food delivery robots on public sidewalks), incorporating socially compliant navigation behaviors on these robots becomes critical to ensuring safe and comfortable human robot coexistence. To address this challenge, imitation learning is a promising framework, since it is easier for humans to demonstrate the task of social navigation rather than to formulate reward functions that accurately capture the complex multi objective setting of social navigation. The use of imitation learning and inverse reinforcement learning to social navigation for mobile robots, however, is currently hindered by a lack of large scale datasets that capture socially compliant robot navigation demonstrations in the wild. To fill this gap, we introduce Socially CompliAnt Navigation Dataset (SCAND) a large scale, first person view dataset of socially compliant navigation demonstrations. Our dataset contains 8.7 hours, 138 trajectories, 25 miles of socially compliant, human teleoperated driving demonstrations that comprises multi modal data streams including 3D lidar, joystick commands, odometry, visual and inertial information, collected on two morphologically different mobile robots a Boston Dynamics Spot and a Clearpath Jackal by four different human demonstrators in both indoor and outdoor environments. We additionally perform preliminary analysis and validation through real world robot experiments and show that navigation policies learned by imitation learning on SCAND generate socially compliant behaviors

研究动机与目标

• 为解决缺乏大规模、真实世界数据集来捕捉多样化环境中社会合规机器人导航的问题。
• 通过提供高保真人类示范数据，支持移动机器人导航的模仿学习。
• 通过真实世界验证，支持社会合规导航策略的开发与评估。
• 为研究社会导航策略、轨迹分类和逆强化学习提供基准。
• 促进表征学习、真实到仿真迁移以及人机交互建模的研究。

提出的方法

• 使用两种形态不同的机器人（波士顿动力Spot和Clearpath Jackal）在25英里的范围内收集138条轨迹。
• 记录多模态数据流：来自人类遥控操作的3D LiDAR、操纵杆指令、里程计、RGB相机和6D IMU。
• 为每条轨迹标注自然的社会互动行为，如礼让、遵守交通规则以及绕行人群。
• 在示范数据上训练行为克隆（BC）智能体，以学习全局与局部导航策略。
• 通过人机协同试验评估所学策略，对比基线move_base控制器在社会合规性和安全性方面的表现。
• 进行基于分类器的分析，证明不同的人类示范者采用不同的社会合规导航策略。

实验结果

研究问题

• RQ1 大规模、真实世界的人类遥控机器人导航数据集能否捕捉非结构化环境中多样化、社会合规的行为？
• RQ2 不同的人类示范者在社会合规导航中表现出多大程度的策略差异？这些差异是否能通过示范学习？
• RQ3 在SCAND上进行的模仿学习能否成功训练出人类评估者认为社会合规且安全的导航策略？
• RQ4 在SCAND上使用行为克隆学习复杂动态环境中全局与局部导航策略的效率如何？
• RQ5 SCAND能否用于训练下游任务（如轨迹预测、分类和逆强化学习）的模型？

主要发现

• 神经网络分类器在区分两名不同人类示范者导航策略的准确率达到74.48%，证明数据中存在不同的社会合规策略。
• 在SCAND上进行的行为克隆成功学习到一种社会合规的局部导航策略，在人类评估中优于简单的move_base基线方法。
• 在两个真实世界的导航场景中，人类参与者认为行为克隆智能体在社会合规性和安全性方面显著优于基线智能体。
• 该数据集包含8.7小时的示范数据、138条轨迹，以及在室内外环境中累计25英里的导航数据，配备丰富的多模态传感器数据和社会互动标注。
• 该数据集支持多种研究应用，包括模仿学习、轨迹分类、逆强化学习以及真实到仿真迁移。
• SCAND支持研究区域导航规范（如靠右行驶）并促进可泛化、具备社会意识的机器人导航策略的开发。