[论文解读] Neural Graph Evolution: Towards Efficient Automatic Robot Design

Tingwu Wang, Yuhao Zhou+2 more|arXiv (Cornell University)|Jun 12, 2019

Reinforcement Learning in Robotics参考文献 37被引用 31

一句话总结

神经图演化（NGE）提出了一种高效的进化算法，通过使用图神经网络（GNNs）共同演化机器人本体结构与控制策略，实现自动机器人设计。通过利用基于GNN的策略迁移和不确定性感知的图突变（GM-UC），NGE降低了评估成本，并在单台64核机器上一天内发现了运动学上合理、媲美人类设计的结构——例如具有对称偶鳍的鱼类和类似猎豹的腿部结构。

ABSTRACT

Despite the recent successes in robotic locomotion control, the design of robot relies heavily on human engineering. Automatic robot design has been a long studied subject, but the recent progress has been slowed due to the large combinatorial search space and the difficulty in evaluating the found candidates. To address the two challenges, we formulate automatic robot design as a graph search problem and perform evolution search in graph space. We propose Neural Graph Evolution (NGE), which performs selection on current candidates and evolves new ones iteratively. Different from previous approaches, NGE uses graph neural networks to parameterize the control policies, which reduces evaluation cost on new candidates with the help of skill transfer from previously evaluated designs. In addition, NGE applies Graph Mutation with Uncertainty (GM-UC) by incorporating model uncertainty, which reduces the search space by balancing exploration and exploitation. We show that NGE significantly outperforms previous methods by an order of magnitude. As shown in experiments, NGE is the first algorithm that can automatically discover kinematically preferred robotic graph structures, such as a fish with two symmetrical flat side-fins and a tail, or a cheetah with athletic front and back legs. Instead of using thousands of cores for weeks, NGE efficiently solves searching problem within a day on a single 64 CPU-core Amazon EC2 machine.

研究动机与目标

• 解决自动机器人设计中高维、组合性搜索空间的挑战。
• 降低评估候选机器人结构的计算成本，传统方法需为每个设计从零开始训练新控制器。
• 通过高效探索图结构化设计，实现对运动学上合理、类似人类工程设计的机器人形态的发现。
• 将模型不确定性整合到图突变中，以在进化搜索过程中平衡探索与利用。
• 证明联合演化机器人结构与控制策略，相比仅优化结构或仅优化策略的方法，能实现更优性能与更快收敛。

提出的方法

• 将机器人设计形式化为图搜索问题，其中每个机器人表示为节点（身体部件）与边（关节）构成的图。
• 使用图神经网络（GNNs）参数化控制策略，实现权重共享，并在相似图结构间迁移已学习技能。
• 实施基于种群的进化循环，通过基本操作（如增加/删除节点/边）迭代突变图，并选择高性能设计。
• 提出不确定性感知图突变（GM-UC），利用模型不确定性估计指导突变决策，平衡探索与利用。
• 通过迁移学习，使用先前评估过的相似设计的权重初始化新图策略，以加速收敛。
• 采用基于强化学习性能（如行进距离）的适应度函数，指导进化过程中的选择。

实验结果

研究问题

• RQ1 基于图的表示与基于GNN的策略迁移是否能显著降低进化搜索中新机器人设计的评估成本？
• RQ2 将模型不确定性整合到图突变中，是否能提升搜索效率并加速收敛至高性能机器人形态？
• RQ3 所提出方法是否能无需人类设计先验，自动发现运动学上合理的机器人结构（如具有对称偶鳍的鱼类或类似猎豹的腿部结构）？
• RQ4 NGE在最终性能与计算时间方面，与随机搜索和标准进化策略相比表现如何？
• RQ5 NGE在同时微调结构与控制策略时，能在多大程度上改进现有由人类设计的机器人结构？

主要发现

• NGE在无需人类先验的情况下，成功发现运动学上合理的机器人结构，如具有两个对称侧鳍和中央尾鳍的鱼类，以及四肢平衡的类似猎豹的行走机器人，而此前方法未能实现此目标。
• NGE在单台64核Amazon EC2机器上一天内实现收敛，效率相比先前方法提升了一个数量级。
• 基于GNN的策略迁移显著降低了评估成本，通过在新图结构上快速初始化策略，大幅加速了搜索过程。
• GM-UC在鱼类与行走者任务中均优于标准突变策略，通过更好平衡探索与利用，实现了更优的最终性能。
• 在微调实验中，NGE采用结构与策略无约束联合演化的方法，优于基线方法（即固定结构仅训练控制器）。
• 即使在计算资源有限（如16核机器）的情况下，NGE仍能达到与64核机器相当的性能，展现出强大的可扩展性与效率。