[论文解读] Positional Cartesian Genetic Programming

Dennis G. Wilson, Julian F. Miller+2 more|arXiv (Cornell University)|Oct 9, 2018

Evolutionary Algorithms and Applications参考文献 17被引用 6

一句话总结

本文提出位置笛卡尔遗传编程（PCGP），一种新型CGP变体，通过使用浮点数基因组表示来演化节点位置，从而支持高级遗传算子（如基于图的交叉和变异）。PCGP在基准问题上优于标准CGP，尤其在强化学习任务中表现更优，并通过在不同进化策略下进行广泛的超参数搜索，揭示了最优参数配置。

ABSTRACT

Cartesian Genetic Programming (CGP) has many modifications across a variety of implementations, such as recursive connections and node weights. Alternative genetic operators have also been proposed for CGP, but have not been fully studied. In this work, we present a new form of genetic programming based on a floating point representation. In this new form of CGP, called Positional CGP, node positions are evolved. This allows for the evaluation of many different genetic operators while allowing for previous CGP improvements like recurrency. Using nine benchmark problems from three different classes, we evaluate the optimal parameters for CGP and PCGP, including novel genetic operators.

研究动机与目标

• 开发一种新型笛卡尔遗传编程（CGP）形式，通过浮点数基因组表示演化节点位置。
• 评估由位置演化带来的新型遗传算子（如子图交叉和输出图交叉，以及混合节点变异）的有效性。
• 使用 $1+\lambda$ EA 和 GA，在多种问题类别中识别标准CGP和PCGP的最优超参数配置。
• 比较节点权重、循环连接和精英策略等增强技术在分类、回归和强化学习任务中的有效性。
• 为CGP配置提供全面指南，特别是针对此前研究中较少探索的基于GA的演化。

提出的方法

• 使用 [0.0, 1.0] 范围内的连续浮点数值表示CGP基因组中的节点位置、连接基因、函数索引和参数。
• 通过“吸附”机制将浮点数连接坐标映射到最近的实际节点，实现灵活且动态的连接性。
• 通过将节点位置作为基因组的一部分进行演化，提出位置CGP（PCGP），从而支持新型变异和交叉策略。
• 应用 $1+\lambda$ 进化算法和代际GA，在九个基准问题上演化PCGP和标准CGP。
• 引入增强技术，如通过参数 $r$ 实现的循环连接、节点权重和激活变异，将其作为可调超参数。
• 通过20个表现最佳配置的参数搜索，识别每类问题和进化策略下的最优设置。

实验结果

研究问题

• RQ1 通过浮点数表示在CGP中演化节点位置，是否能支持更有效的遗传算子并提升基准问题上的性能？
• RQ2 在分类、回归和强化学习任务中，PCGP中哪种遗传算子——基因变异、子图交叉或输出图交叉——最为有效？
• RQ3 与标准CGP相比，节点权重、循环连接（$r$）和精英策略等增强技术在PCGP中的性能影响如何？
• RQ4 当应用于PCGP和标准CGP时，$1+\lambda$ EA和GA的最优超参数配置是什么？
• RQ5 在模块化领域（如强化学习）中，子图交叉和输出图交叉等基于图的操作是否具有可行性与有效性？

主要发现

• PCGP在强化学习问题上显著提升性能，尤其在使用输出图交叉和混合节点变异时表现更优。
• 在 $1+\lambda$ EA 和 GA 配置中，对输出基因采用更高变异率的基因变异策略优于其他变异策略。
• 在强化学习中，节点权重非常有益，但在分类和回归任务中具有负面影响，表明其效用具有问题依赖性。
• 在GA配置中，分类任务偏好子图交叉和混合子树变异，而回归任务则主要依赖随机节点交叉和基因变异。
• 在RL和分类任务中，精英策略水平为 0.1 到 0.5 时最为有效，高精英策略水平可提升PCGP的收敛性。
• 浮点数位置演化支持可行且高效的基于图的遗传算子，表明其为构建自适应和自优化CGP系统提供了可行路径。