[论文解读] Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation

Yingwei Pan, Yehao Li+6 more|arXiv (Cornell University)|Jun 13, 2022

Robot Manipulation and Learning被引用 4

一句话总结

本论文提出 Silver-Bullet-3D，一种在 SAPIEN ManiSkill 2021 挑战赛中用于机器人操作的混合方法，结合了模仿学习与基于 Transformer 的架构以实现基于示范的策略学习，并采用启发式规则方法（HRM）对复杂任务进行分解。HRM 通过基于规则的控制将任务分解为子任务，在最终得分中达到 0.928，较第二名高出 23.8%。模仿学习系统则通过三阶段网络提取几何与纹理特征，并利用决策 Transformer 进行时序建模，在无交互任务赛道中表现优异。

ABSTRACT

This paper presents an overview and comparative analysis of our systems designed for the following two tracks in SAPIEN ManiSkill Challenge 2021: No Interaction Track: The No Interaction track targets for learning policies from pre-collected demonstration trajectories. We investigate both imitation learning-based approach, i.e., imitating the observed behavior using classical supervised learning techniques, and offline reinforcement learning-based approaches, for this track. Moreover, the geometry and texture structures of objects and robotic arms are exploited via Transformer-based networks to facilitate imitation learning. No Restriction Track: In this track, we design a Heuristic Rule-based Method (HRM) to trigger high-quality object manipulation by decomposing the task into a series of sub-tasks. For each sub-task, the simple rule-based controlling strategies are adopted to predict actions that can be applied to robotic arms. To ease the implementations of our systems, all the source codes and pre-trained models are available at \url{https://github.com/caiqi/Silver-Bullet-3D/}.

研究动机与目标

• 从复杂、类真实世界的仿真环境中预收集的 3D 示范轨迹中，开发鲁棒且可泛化的操作策略。
• 解决多自由度机器人控制与多样化 3D 物体形状在视觉操作任务中的挑战。
• 探索模仿学习与离线强化学习在无需在线交互情况下的策略学习有效性。
• 通过将复杂操作任务分解为顺序子任务，设计一种可扩展、可解释的启发式规则方法系统。
• 在 SAPIEN ManiSkill 2021 挑战赛中，于无交互与无限制两个赛道均实现最先进性能。

提出的方法

• 设计了一个三阶段网络架构，从 3D 观测中提取点级、部件级与任务级特征，整合几何、纹理与机器人状态信息。
• 几何特征通过点与机械臂部件（如手指与中心位置）之间的相对距离计算，并通过拼接与多层感知机（MLP）编码。
• 部件级特征通过提供的掩码对点进行分组，并对部件特定的 MLP 进行平均池化学习。
• 任务级特征通过在部件特征上使用 Transformer 编码器捕捉部件间关系，随后通过 MLP 进行动作预测。
• 应用决策 Transformer（DT）对示范序列中的时序依赖关系进行建模，将操作视为序列建模问题。
• 在无限制赛道中，启发式规则方法（HRM）将任务分解为子任务，如 MoveTo、MoveSteps 和 grasp，并引入稳定器以控制机械臂。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效从 3D 点云中建模几何与纹理特征，从而提升机器人操作中的模仿学习性能？
• RQ2 与标准模仿学习相比，集成决策 Transformer 如何增强从离线示范序列中学习策略的能力？
• RQ3 基于规则的子任务分解策略是否能在不依赖数据学习的情况下，实现复杂操作任务中的更优泛化与鲁棒性？
• RQ4 在具有丰富物理特性的挑战性 3D 环境中，基于示范学习的方法与启发式规则系统之间存在多大的性能差距？
• RQ5 几何与视觉特征如何促进在多样化物体形状与操作任务中策略的泛化能力？

主要发现

• 启发式规则方法（HRM）在无限制赛道中取得最终排行榜得分为 0.928，较第二名高出 23.8%。
• HRM 展现出强大的零样本泛化能力，由于其非数据依赖的设计，训练集与测试集之间的性能下降极小。
• 结合三阶段网络与决策 Transformer 的模仿学习系统在无交互赛道中表现优异，通过利用几何与纹理特征显著提升了策略学习性能。
• 使用相对几何特征（如点到手指与点到中心的距离）显著增强了操作任务的特征表示能力。
• 通过多阶段网络整合几何、纹理与机器人状态特征，相比基线方法，显著提升了动作预测的准确性。
• 最终系统在多种任务中表现出鲁棒性，包括 OpenCabinetDoor、OpenCabinetDrawer、MoveBucket 与 PushChair，在训练集与测试集上均取得高成功率。