[论文解读] SoftZoo: A Soft Robot Co-design Benchmark For Locomotion In Diverse Environments

Tsun-Hsuan Wang, Pingchuan Ma+6 more|arXiv (Cornell University)|Mar 16, 2023

Modular Robots and Swarm Intelligence被引用 4

一句话总结

SoftZoo 是一个可微分的、基于物理的基准平台，用于在冰面、沙漠、湿地和水域等多种环境中，协同设计具有优化形态与控制的软体机器人。它支持对设计表征、人机-环境交互作用以及基于梯度的优化进行系统性研究，表明可微分物理显著提升了协同设计效率，并揭示了肌肉构型与控制器综合中的关键权衡。

ABSTRACT

While significant research progress has been made in robot learning for control, unique challenges arise when simultaneously co-optimizing morphology. Existing work has typically been tailored for particular environments or representations. In order to more fully understand inherent design and performance tradeoffs and accelerate the development of new breeds of soft robots, a comprehensive virtual platform with well-established tasks, environments, and evaluation metrics is needed. In this work, we introduce SoftZoo, a soft robot co-design platform for locomotion in diverse environments. SoftZoo supports an extensive, naturally-inspired material set, including the ability to simulate environments such as flat ground, desert, wetland, clay, ice, snow, shallow water, and ocean. Further, it provides a variety of tasks relevant for soft robotics, including fast locomotion, agile turning, and path following, as well as differentiable design representations for morphology and control. Combined, these elements form a feature-rich platform for analysis and development of soft robot co-design algorithms. We benchmark prevalent representations and co-design algorithms, and shed light on 1) the interplay between environment, morphology, and behavior; 2) the importance of design space representations; 3) the ambiguity in muscle formation and controller synthesis; and 4) the value of differentiable physics. We envision that SoftZoo will serve as a standard platform and template an approach toward the development of novel representations and algorithms for co-designing soft robots' behavioral and morphological intelligence.

研究动机与目标

• 解决当前缺乏全面、标准化的协同设计平台以同时优化形态与控制的问题。
• 实现对环境、机器人设计与控制策略在运动任务中相互作用的系统性研究。
• 提供统一的可微分仿真框架，以加速基于梯度的协同设计算法的开发。
• 对各种设计表征与协同设计算法进行基准测试，以识别关键性能因素与失效模式。
• 通过标准化的评估指标与环境，为未来在软体机器人形态与行为智能方面的研究奠定基础。

提出的方法

• 引入一种基于物质点法（MPM）的可微分多物理场引擎，用于模拟复杂且自然启发的环境，包括冰、黏土、雪和水。
• 支持多种机器人设计表征方式：SDF-Lerp 与 Wasserstein 凸组合用于几何建模，通过形状基元上的 Wasserstein 距离定义形状组合的系数。
• 通过物理引擎提供梯度，实现可微分的控制与形态优化，支持端到端反向传播。
• 定义了一套运动任务：高速运动、敏捷转向、速度跟踪与路径点跟随，每项任务均配有特定环境的奖励函数。
• 采用生物启发设计（如海豹、毛毛虫、鱼类、熊猫）作为初始形态，用于在不同环境中评估性能。
• 采用强化学习（PPO）与基于梯度的可微分物理优化方法进行比较，实验在 5 个随机种子下进行。

Figure 1: An overview of SoftZoo with demonstration of various biologically-inspired designs.

实验结果

研究问题

• RQ1 不同的设计表征方式（如 SDF-Lerp 与 Wasserstein 凸组合）如何影响协同设计软体机器人的性能与稳定性？
• RQ2 与非可微分或简化的物理模型相比，可微分物理对协同设计算法效率与有效性的提升作用如何？
• RQ3 环境属性（如冰面与湿地）如何影响运动任务中最佳形态与控制策略的形成？
• RQ4 肌肉构型与控制器综合的模糊性程度如何？这些模糊性如何影响优化结果？
• RQ5 在何种场景下基于梯度的协同设计方法会失效？其失效模式与无梯度方法（如强化学习）相比有何不同？

主要发现

• 可微分物理显著提升了协同设计任务的收敛速度与性能表现，尤其在湿地与雪地等复杂环境中，基于梯度的方法在样本效率上优于强化学习。
• 与 SDF-Lerp 相比，Wasserstein 凸组合表征能更好地保持体积，且在多种地形中生成更稳定、性能更高的设计。
• 在路径跟踪任务中，结合可微分物理的强化学习在环境变化下表现出更强鲁棒性，例如在浅水中鱼类模型的成功率达到 0.714 ± 0.072，优于基线方法。
• 在具有高非光滑性或不连续性的环境（如冰面与黏土）中，基于梯度的协同设计方法失效，微小扰动即导致性能大幅下降，表明其对物理模型保真度高度敏感。
• 研究发现肌肉构型具有高度模糊性：多种截然不同的肌肉布局可实现相似性能，表明设计空间高度非唯一，需依赖精细正则化。
• 在敏捷转向任务中，鱼类与毛毛虫设计在浅水中均达到最高性能（分别为 0.358 ± 0.024），表明身体形状与肌肉布局对流体环境中机动性至关重要。

Figure 2: Unique motions arising from morphology and environment to achieve locomotion.