[论文解读] Task-sequencing Simulator: Integrated Machine Learning to Execution Simulation for Robot Manipulation

Kazuhiro Sasabuchi, Daichi Saito+4 more|arXiv (Cornell University)|Jan 3, 2023

Scientific Computing and Data Management被引用 5

一句话总结

本文提出了一种任务序列模拟器，通过使用可训练、可组合的概念模型来结构化多步任务序列，统一了机器学习策略训练与机器人操作执行模拟。该模拟器通过将编程化和学习型任务模块视为可互换的组件，实现了从模拟训练到真实世界执行的无缝过渡，无需额外收集真实世界数据即可实现模拟到现实的迁移。

ABSTRACT

A task-sequencing simulator in robotics manipulation to integrate simulation-for-learning and simulation-for-execution is introduced. Unlike existing machine-learning simulation where a non-decomposed simulation is used to simulate a training scenario, the task-sequencing simulator runs a composed simulation using building blocks. This way, the simulation-for-learning is structured similarly to a multi-step simulation-for-execution. To compose both learning and execution scenarios, a unified trainable-and-composable description of blocks called a concept model is proposed and used. Using the simulator design and concept models, a reusable simulator for learning different tasks, a common-ground system for learning-to-execution, simulation-to-real is achieved and shown.

研究动机与目标

• 弥合多步机器人操作任务中‘为学习而模拟’与‘为执行而模拟’之间的差距。
• 解决机器人中非分解训练模拟器与组合式执行模拟器之间的结构性不匹配问题。
• 实现可重用、可组合的策略，使其可在不同任务序列中组合使用而无需重新训练。
• 通过在策略学习中分离必要（可观测）和充分（隐式）的目标状态，最小化模拟到现实的领域偏移。
• 通过统一的、可训练的、可组合的模块抽象——概念模型，支持分层学习与执行组合。

提出的方法

• 设计一种任务序列模拟器，通过按顺序组合模块化构建块（任务）来构建模拟，模拟真实机器人执行的工作流程。
• 引入概念模型，作为任务模块的统一、可训练、可组合的描述，封装状态、动作和目标定义。
• 将任务序列分解为原子步骤（例如，抓取、拾取、搬运），并将每个步骤表示为具有可配置参数的概念模型。
• 利用概念模型支持混合执行：编程块、训练中块（处于训练阶段）和完全训练好的块。
• 在策略学习中分离必要目标状态（在真实世界中可观测）与充分目标状态（在模拟中隐式学习），以减少模拟到现实的差距。
• 通过重用相同的策略连接，并将模拟引擎切换为ROS兼容版本，实现从模拟到真实机器人执行的策略迁移。

Figure 1: The proposed task-sequencing simulator which enables scenario composition for both learning and execution in robotics manipulation.

实验结果

研究问题

• RQ1 如何设计一种模拟器，使其在统一、可组合的框架下同时支持机器学习训练与真实机器人执行？
• RQ2 是否可以仅在模拟中训练一个单一、可重用的策略，并直接应用于不同执行序列而无需重新训练？
• RQ3 何种架构设计能够实现从基于模拟的学习到真实世界执行的无缝过渡，且模拟到现实的领域偏移最小？
• RQ4 如何在模拟中组织任务序列，以反映真实机器人执行中所使用的相同组合逻辑？
• RQ5 隐式目标状态（充分目标）在多大程度上可减少策略部署时对精确真实世界观测的需求？

主要发现

• 该任务序列模拟器通过使用相同的可组合任务序列范式，成功整合了‘为学习而模拟’与‘为执行而模拟’。
• 在某一序列（如抓取-拾取-搬运）上训练的策略，通过重新配置概念模型，可直接应用于不同执行场景（如投掷），证明了其高度可重用性。
• 该模拟器实现了使用在模拟中学习到的同一策略在真实机器人上执行，且无需额外收集真实世界数据，证实了有效的模拟到现实迁移。
• 概念模型设计中对必要与充分目标状态的分离，减少了模拟到现实的差距，因为真实世界部署仅需可观测的动力学。
• 概念模型支持分层学习与执行组合，使得可在已训练或编程的模块基础上构建新任务，而无需重新训练整个序列。
• 通过使用相同的已学习策略组件，成功执行了复杂序列（如从上层货架抓取并放置到下层货架；抓取并投掷），展示了在不同场景下的可扩展性。

Figure 2: An illustration of a task model.