[论文解读] PlasticineLab: A Soft-Body Manipulation Benchmark with Differentiable Physics

Zhiao Huang, Yuanming Hu+5 more|arXiv (Cornell University)|Apr 7, 2021

Tactile and Sensory Interactions参考文献 51被引用 23

一句话总结

PlasticineLab 是一个用于软体操控的可微分物理基准，包含10项任务，共50种配置，采用基于可微分MPM的模拟器实现弹塑性变形。该基准支持快速基于梯度的轨迹优化，在简单任务上优于强化学习，但在长时程规划任务中表现不佳，凸显了结合可微分物理与强化学习的混合方法的必要性。

ABSTRACT

Simulated virtual environments serve as one of the main driving forces behind developing and evaluating skill learning algorithms. However, existing environments typically only simulate rigid body physics. Additionally, the simulation process usually does not provide gradients that might be useful for planning and control optimizations. We introduce a new differentiable physics benchmark called PasticineLab, which includes a diverse collection of soft body manipulation tasks. In each task, the agent uses manipulators to deform the plasticine into the desired configuration. The underlying physics engine supports differentiable elastic and plastic deformation using the DiffTaichi system, posing many under-explored challenges to robotic agents. We evaluate several existing reinforcement learning (RL) methods and gradient-based methods on this benchmark. Experimental results suggest that 1) RL-based approaches struggle to solve most of the tasks efficiently; 2) gradient-based approaches, by optimizing open-loop control sequences with the built-in differentiable physics engine, can rapidly find a solution within tens of iterations, but still fall short on multi-stage tasks that require long-term planning. We expect that PlasticineLab will encourage the development of novel algorithms that combine differentiable physics and RL for more complex physics-based skill learning tasks.

研究动机与目标

• 为在物理上准确且可微分的环境中学习复杂的软体操控技能，解决缺乏标准化基准的问题。
• 开发一个支持可微分弹性与塑性形变的仿真平台，实现基于梯度的控制与规划优化。
• 评估并比较强化学习与基于梯度的规划方法在复杂软体任务中的性能表现。
• 探索将可微分物理与模仿学习及强化学习相结合，以提升策略学习与仿真到现实的迁移能力。
• 提供一个公开可用的基准，支持泛化能力、程序化任务生成与领域随机化，以支持现实世界部署。

提出的方法

• 该基准使用Taichi物理引擎，基于可微分材料点法（MPM）模拟弹塑性材料，采用von Mises屈服准则。
• 系统实现了一种双尺度反向传播梯度计算框架，用于高效计算复杂且数值挑战性高的操作（如塑性模型中的SVD）的梯度。
• 设计了一种定制化的接触模型，以在软-刚体及软-软交互过程中保持可微性。
• 环境支持10种多样的操控任务（如滚动、捏合、雕刻），对陶土形变实现精确控制。
• 利用梯度信息通过基于梯度的规划器优化开环动作序列，实现数十次迭代内的快速收敛。
• 该平台支持任务配置的程序化生成，并可与领域随机化集成，以支持仿真到现实的迁移。

实验结果

研究问题

• RQ1 在可微分物理环境下，基于梯度的优化方法与强化学习在解决软体操控任务时的表现如何比较？
• RQ2 可微分物理能否实现更快速、更精确的复杂弹塑性形变任务轨迹规划？
• RQ3 基于梯度的方法在长时程、多阶段软体操控任务中的局限性是什么？
• RQ4 如何将可微分物理与采样方法（如随机搜索或强化学习）结合，以克服在分离-重新连接场景下的梯度消失问题？
• RQ5 PlasticineLab在多大程度上可通过基于梯度的物理参数识别与领域随机化，支持仿真到现实的策略迁移？

主要发现

• 基于梯度的规划方法在50次优化迭代内即解决了简单PlasticineLab任务，实现高精度与高速度，而强化学习方法即使在10,000个训练周期后仍无法收敛。
• 可微分物理引擎成功计算了复杂塑性模型（包括数值挑战性高的SVD操作）的梯度，实现了端到端优化。
• 基于梯度的方法对初始化高度敏感，当从较差的初始动作序列开始时，性能显著下降。
• 在涉及分离与重新连接的多阶段任务中，基于梯度的优化因梯度消失而失败，表明需要采用混合规划策略。
• 该基准揭示，基于强化学习的智能体在长时程规划中表现不佳，需要大量探索；而基于梯度的方法虽提供强局部引导，但缺乏长期规划驱动力。
• 通过物理参数优化与领域随机化，该平台实现了有效的仿真到现实迁移，未来可通过基于梯度的系统识别进一步缩小仿真与现实之间的差距。