[论文解读] Recombination of Artificial Neural Networks

Aaron Vose, Jacob Balma+6 more|arXiv (Cornell University)|Jan 12, 2019

Machine Learning and Data Classification参考文献 22被引用 4

一句话总结

本文提出了一种用于深度神经网络超参数优化的新型遗传算法（GA），引入了三亲本繁殖机制——两名亲本贡献超参数，一名亲本贡献模型参数，同时结合染色体交叉和超参数与模型参数的解耦。该方法通过结合PBT与GA，在卷积神经网络（CNNs）、循环神经网络（RNNs）和胶囊网络等多种架构中加速了收敛并提升了最终准确率，实现了对有害超参数组合的快速淘汰与更优超参数配置的快速适应。

ABSTRACT

We propose a genetic algorithm (GA) for hyperparameter optimization of artificial neural networks which includes chromosomal crossover as well as a decoupling of parameters (i.e., weights and biases) from hyperparameters (e.g., learning rate, weight decay, and dropout) during sexual reproduction. Children are produced from three parents; two contributing hyperparameters and one contributing the parameters. Our version of population-based training (PBT) combines traditional gradient-based approaches such as stochastic gradient descent (SGD) with our GA to optimize both parameters and hyperparameters across SGD epochs. Our improvements over traditional PBT provide an increased speed of adaptation and a greater ability to shed deleterious genes from the population. Our methods improve final accuracy as well as time to fixed accuracy on a wide range of deep neural network architectures including convolutional neural networks, recurrent neural networks, dense neural networks, and capsule networks.

研究动机与目标

• 为解决深度神经网络中因搜索空间庞大而难以进行人工调参的超参数优化（HPO）挑战。
• 通过引入具有交叉重组和三亲本遗传特征的有性繁殖机制，改进现有基于种群的训练（PBT）方法。
• 通过淘汰有害的超参数配置并实现对最优配置的快速适应，提升搜索效率与收敛速度。
• 将PBT扩展为完整的遗传算法，引入如群体（demes）和倍性（ploidy）等生物启发特性，以更充分探索超参数空间。

提出的方法

• 该方法采用一种将超参数（如初始学习率、权重衰减）与模型参数（权重和偏置）解耦的遗传算法，将二者视为独立的遗传组分。
• 后代由三位亲本生成：两位亲本通过交叉重组贡献超参数，一位亲本贡献已训练好的模型参数。
• 染色体交叉仅作用于超参数，实现有益基因组合的重组，同时保持已训练网络权重的完整性。
• 该算法与随机梯度下降（SGD）集成，通过在SGD训练周期中并行运行GA代次，实现在训练过程中动态调整超参数。
• 引入群体（demes）作为隔离的子种群，仅允许有限迁移，以防止过早收敛并提升对超参数空间的覆盖能力。
• 在神经网络集成的背景下探索倍性（ploidy）机制，允许多个来自不同亲本的子网络实现参数的有性繁殖，但当前实现仍采用单倍体参数遗传方式。

实验结果

研究问题

• RQ1 与传统PBT相比，采用三亲本繁殖与交叉重组的遗传算法是否能提升深度神经网络中的超参数优化效果？
• RQ2 将超参数与模型参数解耦，对超参数搜索的效率与效果有何影响？
• RQ3 引入群体结构与迁移策略是否能增强探索能力并降低陷入局部最优的风险？
• RQ4 超参数的交叉重组在多大程度上可加速收敛并提升多种架构下的最终模型准确率？
• RQ5 将PBT与完整的遗传算法结合，是否能实现更快达到固定准确率的时间与更高的最终准确率？

主要发现

• 所提出的GA在多种深度神经网络架构（包括卷积网络、循环网络、全连接网络与胶囊网络）中，相比默认超参数设置，显著提升了最终准确率。
• 通过有效重组与剔除有害超参数组合，该方法实现了更快的适应速度，从而显著缩短达到固定准确率所需时间。
• 引入交叉重组与三亲本遗传机制，使超参数空间的探索更加高效，收敛行为优于标准PBT。
• 采用受控迁移的群体结构显著提升了种群多样性，降低了过早收敛至次优解的风险。
• 该方法在结合梯度训练与进化搜索方面表现优于基线PBT，尤其在动态超参数调度场景中优势明显。
• 对倍性的初步探索（通过集成实现）表明未来有望实现模型参数的交叉重组，但当前实现仍采用单倍体参数遗传且不支持重组。