[论文解读] Transform2Act: Learning a Transform-and-Control Policy for Efficient Agent Design

Ye Yuan, Yuda Song+3 more|arXiv (Cornell University)|Oct 7, 2021

Reinforcement Learning in Robotics参考文献 30被引用 5

一句话总结

Transform2Act 提出了一种可微分的、基于策略梯度的方法，通过使用图神经网络（GNNs）和联合专用多层感知机（JSMLPs）学习‘转换-控制’策略，联合优化机器人智能体的设计与控制。该方法实现了在可变设计空间中的样本高效、经验共享优化，并发现了如长颈鹿、乌贼和蜘蛛等生物上合理的智能体，其收敛速度和最终性能相比以往进化策略提升了整整一个数量级。

ABSTRACT

An agent's functionality is largely determined by its design, i.e., skeletal structure and joint attributes (e.g., length, size, strength). However, finding the optimal agent design for a given function is extremely challenging since the problem is inherently combinatorial and the design space is prohibitively large. Additionally, it can be costly to evaluate each candidate design which requires solving for its optimal controller. To tackle these problems, our key idea is to incorporate the design procedure of an agent into its decision-making process. Specifically, we learn a conditional policy that, in an episode, first applies a sequence of transform actions to modify an agent's skeletal structure and joint attributes, and then applies control actions under the new design. To handle a variable number of joints across designs, we use a graph-based policy where each graph node represents a joint and uses message passing with its neighbors to output joint-specific actions. Using policy gradient methods, our approach enables joint optimization of agent design and control as well as experience sharing across different designs, which improves sample efficiency substantially. Experiments show that our approach, Transform2Act, outperforms prior methods significantly in terms of convergence speed and final performance. Notably, Transform2Act can automatically discover plausible designs similar to giraffes, squids, and spiders. Code and videos are available at https://sites.google.com/view/transform2act.

研究动机与目标

• 为解决机器人仿真中组合性高维智能体设计空间的挑战。
• 克服进化策略（ES）在不同设计间无法共享经验而导致的样本效率低下问题。
• 实现骨骼结构与关节属性（如长度、强度）的联合优化，同时学习控制策略。
• 开发一种可泛化的条件策略，能够处理不同设计中关节数量的变化。
• 通过端到端学习发现生物上合理的智能体形态（例如长颈鹿状、乌贼状）。

提出的方法

• 将智能体设计建模为条件策略学习问题，将每个训练周期划分为转换和执行两个阶段。
• 使用图神经网络（GNN）表示智能体，其中每个节点对应一个关节，并通过消息传递机制生成与关节相关的动作输出。
• 引入联合专用多层感知机（JSMLPs），在保持 GNN 通用性的同时实现对每个关节的专门化。
• 采用策略梯度方法联合优化转换和控制动作，实现在多样化设计之间的经验共享。
• 将策略条件化于当前设计状态，使在转换阶段能够动态修改骨骼结构和关节属性。
• 利用离策略训练与经验回放缓冲区，提升不同设计之间的样本效率并稳定学习过程。

实验结果

研究问题

• RQ1 单一策略是否能比基于随机突变的进化策略更高效地实现端到端的智能体设计与控制？
• RQ2 GNNs 和 JSMLPs 在智能体设计中的泛化与专门化方面贡献有多大？
• RQ3 该方法是否能在无先验偏置的情况下发现生物上合理的智能体形态（如长颈鹿状、蜘蛛状）？
• RQ4 在不同设计间共享经验相比基于种群的 ES 方法，如何提升样本效率？
• RQ5 设计与控制的联合优化是否相比解耦方法能实现更快的收敛速度和更优的最终性能？

主要发现

• 在四个环境中，Transform2Act 相较于基于 ES 的基线方法（如 NGE）在收敛速度和最终性能上均提升了整整一个数量级。
• 该方法发现了合理且具有生物启发性的智能体设计，例如在 2D 行走任务中发现了一种快速稳定的长颈鹿状智能体，以及一种具有触手推进的乌贼状游泳者。
• 消融实验表明，移除 GNNs 或 JSMLPs 会显著降低性能与稳定性，其中 JSMLPs 有效减少了设计对称性并改善了性能方差。
• 未使用 JSMLPs 生成的设计过度对称，缺乏对每个关节的专门化，导致性能更差，尤其在 Swimmer 和 3D Locomotion 任务中表现明显。
• GNN 的使用实现了在不同关节配置之间的有效经验共享，提升了泛化能力与样本效率。
• 在连续设计优化中，Transform2Act 超过了基线连续调优方法（Ha, 2019），证明其在优化专家设计智能体时依然具有显著有效性。