[论文解读] VRKitchen: an Interactive 3D Virtual Environment for Task-oriented Learning

Xiaofeng Gao, Ran Gong+4 more|arXiv (Cornell University)|Mar 13, 2019

Reinforcement Learning in Robotics参考文献 51被引用 35

一句话总结

VRKitchen 提供一个照片级真实感的 VR 厨房环境，具有细粒度的对象操作能力，能够从演示中学习并对任务导向学习进行基准测试。它支持通过 VR 进行人类演示和通过 Python API 进行 AI 代理，以及通过 VR Chef Challenge 进行标准化评测。

ABSTRACT

One of the main challenges of advancing task-oriented learning such as visual task planning and reinforcement learning is the lack of realistic and standardized environments for training and testing AI agents. Previously, researchers often relied on ad-hoc lab environments. There have been recent advances in virtual systems built with 3D physics engines and photo-realistic rendering for indoor and outdoor environments, but the embodied agents in those systems can only conduct simple interactions with the world (e.g., walking around, moving objects, etc.). Most of the existing systems also do not allow human participation in their simulated environments. In this work, we design and implement a virtual reality (VR) system, VRKitchen, with integrated functions which i) enable embodied agents powered by modern AI methods (e.g., planning, reinforcement learning, etc.) to perform complex tasks involving a wide range of fine-grained object manipulations in a realistic environment, and ii) allow human teachers to perform demonstrations to train agents (i.e., learning from demonstration). We also provide standardized evaluation benchmarks and data collection tools to facilitate a broad use in research on task-oriented learning and beyond.

研究动机与目标

• 解决在 AI 训练任务导向学习中缺乏真实且标准化环境的问题。
• 在真实厨房环境中实现复杂、细粒度的对象操作。
• 提供面向人类演示（VR）和 AI 训练（Python API）的接口，以便从演示和规划任务中学习。
• 提供标准化基准和数据收集工具，以在3D环境中对学习算法进行广泛评估。

提出的方法

• 基于 Unreal Engine 4 构建的可配置虚拟厨房环境，具有基于物理的仿真和照片级真实渲染。
• 具备详细实体化的人形智能体，与场景中的55个可交互对象进行互动并模拟状态变化（如面包变色、番茄切片等）。
• 对对象进行细粒度、成分化的交互，将对象分解为具有独立可用性的组件。
• 两种演示接口：基于 VR 的遥操作用于连续动作，以及用于离散动作序列且带世界状态视图的 Python API。
• 一个 Python–UE4 桥接，能够通过实现低级（平移/旋转）和高级（原子动作）控制的控制器，将高级命令转化为电机控制信号。
• 一个带有工具使用和菜肴准备任务的 VR Chef Challenge，用于基准学习和规划算法。

实验结果

研究问题

• RQ1 一个现实的3D虚拟环境，具有丰富的对象状态变化，如何支持学习长时程、任务导向的目标？
• RQ2 来自人类（通过 VR）的演示结合 AI 学习，是否可以为复杂烹饪任务提供高效的训练？
• RQ3 当前深度强化学习方法在3D厨房仿真中获取运动控制和视觉规划的能力与局限性是什么？
• RQ4 标准化的基准和数据集（如 UCLA VR Chef Dataset）如何促进在3D环境中对任务导向学习方法的比较？

主要发现

• VRKitchen 使得长序列的细粒度动作和状态变化成为可能，可以在厨房场景中完成切割、削皮、烹饪和组装等任务。
• 使用 A2C、DDPG、PPO 的实验表明，强化学习代理在用于工具使用任务的庞大状态空间上存在困难，突显了在3D动态环境中的学习挑战。
• 三项菜肴准备任务对收敛性的影响不同：简单任务在某些算法下接近最优解收敛；中等任务对 PPO 收敛；困难任务被测试的 RL 方法仍未解决。
• 通过 VR 设备收集的人类演示可用于引导和学习自演示，且引入了 UCLA VR Chef Dataset。
• 该系统同时支持通过 Python API 的连续动作遥操作和离散动作序列，提供灵活的训练和评估工作流。