[论文解读] RoboCupSimData: A RoboCup soccer research dataset

Olivia Michael, Oliver Obst+2 more|arXiv (Cornell University)|Nov 6, 2017

Reinforcement Learning in Robotics参考文献 11被引用 3

一句话总结

本论文介绍了 RoboCupSimData，这是一个大规模、多智能体机器人数据集，源自 2016–2017 年间 1,125 场模拟的 RoboCup 2D 足球比赛，参赛队伍为顶级水平。该数据集提供了全局真实状态以及每个机器人视角的噪声性、局部感知数据，支持多智能体学习、自定位和行为建模方面的研究。

ABSTRACT

RoboCup is an international scientific robot competition in which teams of multiple robots compete against each other. Its different leagues provide many sources of robotics data, that can be used for further analysis and application of machine learning. This paper describes a large dataset from games of some of the top teams (from 2016 and 2017) in RoboCup Soccer Simulation League (2D), where teams of 11 robots (agents) compete against each other. Overall, we used 10 different teams to play each other, resulting in 45 unique pairings. For each pairing, we ran 25 matches (of 10mins), leading to 1125 matches or more than 180 hours of game play. The generated CSV files are 17GB of data (zipped), or 229GB (unzipped). The dataset is unique in the sense that it contains both the ground truth data (global, complete, noise-free information of all objects on the field), as well as the noisy, local and incomplete percepts of each robot. These data are made available as CSV files, as well as in the original soccer simulator formats.

研究动机与目标

• 创建一个全面、大规模的数据集，捕捉多智能体机器人环境中全局真实状态与局部、噪声性机器人感知。
• 通过提供具有不确定性与部分可观测性的类真实传感器数据，支持多智能体协调、自定位和行为建模方面的研究。
• 在受控但逼真的模拟环境中，为模仿学习、强化学习以及预测性世界建模等机器学习技术提供基准测试支持。
• 通过同时包含高保真真实状态和每场比赛 22 个智能体特有的真实感知数据，克服现有数据集的局限性。
• 通过以多种格式（包括 CSV、原始日志文件以及模拟器修补和数据转换的源代码）发布数据集，促进可复现研究。

提出的方法

• 修改 rcssserver 模拟器（v15.3.0），以每 100ms 一次的频率记录每场比赛中 22 个机器人各自的视觉和身体消息，频率根据视野设置而变化。
• 每 100ms 记录一次真实状态（位置、速度、动作），以二进制 .rcg 格式存储，之后使用自定义 C++ 工具（rcg2csv）转换为 CSV 格式。
• 通过视觉传感器消息捕获本地机器人感知——即到地标和移动物体的距离与角度——存储于 .rcv 文件中，并使用 see2csv.py 脚本转换为 CSV 格式。
• 生成 45 组独特的队伍配对，每对比赛 25 次（每场比赛 10 分钟），共产生 1,125 场比赛，未压缩数据总量达 229GB。
• 提供额外数据，包括机器人指令（.rcl 文件）、模拟参数，以及模拟器修补和数据转换工具的源代码。
• 将数据结构化为 1,125 个比赛文件，每个文件包含 22 个本地感知文件（每队 11 个）和一个全局真实状态文件，所有文件均以 CSV 和原始格式提供。

实验结果

研究问题

• RQ1 当多智能体系统在具有部分观测和噪声观测的数据上进行训练时，如何学习到有效的协调策略？
• RQ2 从局部机器人感知中学习到的模型，在多大程度上能泛化到准确的世界状态估计和自定位？
• RQ3 模仿学习和强化学习能否从一个同时包含真实状态和真实感知约束的数据集中获益？
• RQ4 不同的队伍策略和行为在感知数据中如何体现？仅从传感器输入能否对这些行为进行建模或预测？
• RQ5 传感器频率和视野的变化对感知数据质量与机器人学习任务实用性的具体影响是什么？

主要发现

• 该数据集包含 1,125 场完整时长 10 分钟的比赛，总计超过 180 小时的游戏时间，未压缩数据量达 229GB。
• 每场比赛包含 22 个本地感知流（每个机器人一个）和一个全局真实状态流，提供了完整的多智能体视角。
• 数据集包含 17GB 的压缩 CSV 数据，另有原始日志文件和指令记录以多种格式提供。
• 成功对模拟器进行修补，实现了按机器人粒度记录视觉和身体消息，支持对感知-动作环路的详细分析。
• 该数据支持广泛的机器学习任务，包括模仿学习、自定位以及团队行为的预测建模。
• 真实状态与本地感知数据的并存，使得能够直接评估在不确定性和部分可观测性条件下进行推理的模型。