[论文解读] Neuroevolution in Deep Learning: The Role of Neutrality

Edgar Galván|arXiv (Cornell University)|Feb 16, 2021

Evolutionary Algorithms and Applications参考文献 50被引用 7

一句话总结

本文研究了神经演化中中性性在深度神经网络（DNN）架构搜索中的作用，提出选择性中性突变——即不影响表型的突变——可通过减少不必要的适应度评估来加速演化搜索。通过利用像笛卡尔基因编程中的中性基因型变异，该方法能够在不重新评估每次突变的情况下高效探索DNN架构，从而在自动DNN设计中降低计算成本。

ABSTRACT

A variety of methods have been applied to the architectural configuration and learning or training of artificial deep neural networks (DNN). These methods play a crucial role in the success or failure of the DNN for most problems and applications. Evolutionary Algorithms (EAs) are gaining momentum as a computationally feasible method for the automated optimisation of DNNs. Neuroevolution is a term which describes these processes of automated configuration and training of DNNs using EAs. However, the automatic design and/or training of these modern neural networks through evolutionary algorithms is computanalli expensive. Kimura's neutral theory of molecular evolution states that the majority of evolutionary changes at molecular level are the result of random fixation of selectively neutral mutations. A mutation from one gene to another is neutral if it does not affect the phenotype. This work discusses how neutrality, given certain conditions, can help to speed up the training/design of deep neural networks.

研究动机与目标

• 研究进化算法中的中性性是否能加速寻找最优深度神经网络架构。
• 考察不影响表型的中性突变对DNN神经演化效率的影响。
• 探讨像笛卡尔基因编程中的中性表示如何减少DNN架构搜索过程中重复适应度评估的需求。
• 识别中性性在深度学习演化搜索中促进或阻碍效率的条件。
• 通过仅使用突变和选择的简单二进制实验设置，为未来在神经演化中研究中性性奠定基础。

提出的方法

• 使用二进制基因型表示，并仅以突变和选择作为遗传算子，模拟DNN架构空间中的演化搜索。
• 通过识别不改变表型DNN架构的基因型变化（例如笛卡尔GP中的未表达基因）来应用中性概念。
• 采用表型解码机制将基因型映射为实际的DNN架构，仅在表型发生变化时进行适应度评估。
• 利用现有的神经演化框架（如使用笛卡尔基因编程的框架）来显式建模和测量DNN表示中的中性性。
• 提出可利用中性突变跳过适应度评估，从而降低演化DNN搜索中的计算成本。
• 使用简化的基准问题和表示方法，以隔离中性性对演化搜索中其他混杂因素的影响。

实验结果

研究问题

• RQ1 基因型中中性突变的存在是否能减少神经演化中DNN所需的适应度评估次数？
• RQ2 在何种条件下，演化表示中的中性性能加速有效DNN架构的搜索？
• RQ3 中性性如何影响选择和突变算子在DNN架构搜索背景下的行为？
• RQ4 能否系统性地识别并利用中性基因型变异来提升神经演化中的搜索效率？
• RQ5 中性性是否能在不损害最终DNN架构质量的前提下，实现更快的收敛？

主要发现

• 演化表示中的中性性可通过跳过不影响结果的突变来减少适应度评估次数。
• 未表达基因（如笛卡尔GP示例中的基因5）的存在创造了自然中性性，这些基因的突变不会改变DNN架构。
• 中性性可能通过允许在不重新评估适应度的情况下更长时间地探索基因型空间而加速搜索，尤其当表型变化稀少时。
• 研究表明，中性性并非普遍有益，其效果取决于问题类别、表示方式和所用遗传算子。
• 作者建议可将中性性显式地工程化到笛卡尔GP等表示中，以促进DNN架构搜索中的高效探索。
• 本文指出了一个研究空白：尽管中性性在理论上具有降低计算成本的潜力，但此前在DNN神经演化中尚无系统性研究中性性的工作。