[论文解读] SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation

Xingyu Lin, Yufei Wang+2 more|arXiv (Cornell University)|Nov 14, 2020

Reinforcement Learning in Robotics参考文献 53被引用 68

一句话总结

这篇论文提出 SoftGym，一个用于变形物体操作的深度强化学习基准，详述环境、观测/动作空间、任务变体、训练/评估协议以及基线算法结果。它分析了若干任务（水、布、绳）中的图像和特征观测，并在不同设置下比较了 SAC、TD3、PlaNet 和 RIG 等方法。

ABSTRACT

Manipulating deformable objects has long been a challenge in robotics due to its high dimensional state representation and complex dynamics. Recent success in deep reinforcement learning provides a promising direction for learning to manipulate deformable objects with data driven methods. However, existing reinforcement learning benchmarks only cover tasks with direct state observability and simple low-dimensional dynamics or with relatively simple image-based environments, such as those with rigid objects. In this paper, we present SoftGym, a set of open-source simulated benchmarks for manipulating deformable objects, with a standard OpenAI Gym API and a Python interface for creating new environments. Our benchmark will enable reproducible research in this important area. Further, we evaluate a variety of algorithms on these tasks and highlight challenges for reinforcement learning algorithms, including dealing with a state representation that has a high intrinsic dimensionality and is partially observable. The experiments and analysis indicate the strengths and limitations of existing methods in the context of deformable object manipulation that can help point the way forward for future methods development. Code and videos of the learned policies can be found on our project website.

研究动机与目标

• 提供一个模块化、多样化的变形物体操作基准，用于评估深度强化学习方法。
• 描述在多任务中基于图像和基于特征设置的观测与动作空间。
• 引入任务变体以覆盖对象大小、形状和物理属性的变化。
• 建立公平比较的训练/评估流程与基线超参数。

提出的方法

• 定义两种观测模态（图像 128x128x3 以及任务特定的特征向量）。
• 将动作归一化到 [-1,1]，并针对每个任务设置环境特定的未归一化范围。
• 对布/绳任务使用基于挑选的控制器，对 PassWater/PourWater 使用一维杯子运动。
• 每个环境预先计算 1000 种任务变体；其中 800 种用于训练，200 种用于评估。
• 提供图像（CNN 编码器、VAE/RIG 细节）与特征观测的参考网络结构（MLP）。
• 给出适用于图像/特征设置的 SAC、TD3、PlaNet、RIG 的详细超参数。

实验结果

研究问题

• RQ1 图像基观测与特征基观测在柔性物体任务的强化学习性能有何差异？
• RQ2 任务变体（大小、形状、材料属性）对学习与泛化有何影响？
• RQ3 在一致的训练/评估协议下，SAC、TD3、PlaNet、RIG 等不同算法在 SoftGym 任务上的比较？
• RQ4 哪些观测与网络结构最能支持变形物体操作中的学习？
• RQ5 全状态观测与部分观测对学习效率与性能的影响？

主要发现

• 图像基观测与特征基观测在各任务中呈现出不同的学习特性，并为每种设定提供了详细的架构。
• 使用 RGB 观测的 TD3 在多次实验中学习效果较差，原因是动作饱和和 Q 函数偏差问题。
• RIG 与 PlaNet 采用潜在表示和规划/HER 风格技术来处理高维观测的规划问题。
• 全状态观测对 SAC/TD3 的表现较差，原因是维度高且相较于特征/图像输入存在冗余。
• 预先计算了大量任务变体（杯子尺寸、绳子扭转、布料尺寸），以实现跨环境的稳健训练与评估。