[论文解读] The Magni Human Motion Dataset: Accurate, Complex, Multi-Modal, Natural, Semantically-Rich and Contextualized

Tim Schreiter, Tiago Rodrigues de Almeida+10 more|arXiv (Cornell University)|Aug 31, 2022

Video Surveillance and Tracking Methods被引用 7

一句话总结

本论文介绍了Magni人类运动数据集，这是一个高保真、多模态的数据集，通过动作捕捉、眼动追踪和机器人传感器数据，在语义丰富的室内环境中捕捉自然、目标导向的人类运动。该数据集包含160分钟多样化的、情境感知的人机协同导航数据，通过松散脚本化任务和语音指令诱导出真实的行为，支持人类运动预测、人机交互（HRI）和情境感知机器人学的前沿研究。

ABSTRACT

Rapid development of social robots stimulates active research in human motion modeling, interpretation and prediction, proactive collision avoidance, human-robot interaction and co-habitation in shared spaces. Modern approaches to this end require high quality datasets for training and evaluation. However, the majority of available datasets suffers from either inaccurate tracking data or unnatural, scripted behavior of the tracked people. This paper attempts to fill this gap by providing high quality tracking information from motion capture, eye-gaze trackers and on-board robot sensors in a semantically-rich environment. To induce natural behavior of the recorded participants, we utilise loosely scripted task assignment, which induces the participants navigate through the dynamic laboratory environment in a natural and purposeful way. The motion dataset, presented in this paper, sets a high quality standard, as the realistic and accurate data is enhanced with semantic information, enabling development of new algorithms which rely not only on the tracking information but also on contextual cues of the moving agents, static and dynamic environment.

研究动机与目标

• 解决机器人研究中缺乏高质量、自然主义的人类运动数据集的问题，这些数据集具备语义和情境丰富性。
• 克服现有数据集依赖脚本化或非自然人类行为的局限性，并缺乏多模态传感器融合的问题。
• 通过整合单向通道、警示区域等语义线索，实现情境感知的运动建模。
• 通过动作捕捉、眼动追踪和移动机器人传感器的同步高精度数据，支持先进人机交互系统的发展。
• 利用真实、有目的的导航模式，促进人类运动预测、避障和人机协作的研究。

提出的方法

• 在专为实验设计的室内实验室环境中进行数据采集，环境包含静态障碍物、动态机器人和语义标记（如单向通道、警示区域）。
• 采用松散脚本化协议，参与者通过Discord接收随机目标卡和语音指令，以诱导自然、目标驱动的导航行为。
• 同步记录多模态数据：三维动作捕捉轨迹、三台眼动仪（Tobii Glasses 2/3、Pupil Invisible Glasses）获取的二维和三维眼动矢量，以及机器人本体传感器数据（LiDAR、RGB、RGB-D、鱼眼相机）。
• 实施两种机器人运动模式——差速驱动与全向移动，以研究不同运动学条件下的人机碰撞规避行为。
• 在四天内完成数据采集，共30名独立参与者，涵盖三种场景，每种场景包含两个变体，每名参与者完成十次4分钟的运行。
• 使用基于ROS的rosbag记录方式，同步并保存传感器数据流，包括人员追踪输出和环境地图。

实验结果

研究问题

• RQ1 如何在不依赖重复脚本化行为的前提下，收集能够确保自然、目标导向且具备社会意识的人类运动行为？
• RQ2 语义环境线索（如单向通道、警示区域）在多大程度上影响人类在共享室内空间中的导航模式和决策行为？
• RQ3 多模态传感器融合（结合动作捕捉、眼动数据与机器人感知数据）在人机交互中如何增强人类行为的建模能力？
• RQ4 不同的机器人运动动力学特性（差速 vs. 全向）对人类导航策略和碰撞规避行为有何影响？
• RQ5 情境丰富、语义标注的人类运动数据能否提升运动预测与动态地图学习模型的性能与可解释性？

主要发现

• 数据集共捕获了30名不同参与者的160分钟人类运动数据，每天10次运行，每次4分钟，每日产生40分钟的多模态数据。
• 由于采用松散脚本化任务和语音引导的目标变更，参与者表现出自然、有目的的导航行为，减少了重复或不自然的运动模式。
• 引入语义上下文（如单向通道和警示区域）后，观察到可测量的行为适应，参与者主动避开高风险区域，并遵循指定的通行流线。
• 在三维全局坐标系下的眼动数据揭示了明显不同的视觉注意力模式，眼动矢量可映射至环境特征，支持对注意力驱动导航的分析。
• 基于轨迹生成的动力学地图在警示区域附近显示出流量强度降低，且在Scenario 1B中清晰呈现出单向通道的模式，证实了情境感知行为的存在。
• 机器人传感器数据（包括LiDAR点云和RGB/RGB-D图像）已成功实现同步，并在RViz中可视化，支持后续在感知与追踪任务中的应用。