[论文解读] The Evolution of Learning Algorithms for Artificial Neural Networks

Jonathan Baxter|ArXiv.org|Dec 1, 2025

Neural Networks and Applications被引用 42

一句话总结

本论文研究局部学习规则神经网络，其架构和动力学通过基因编码，并施加进化压力以发现能够学习 four boolean functions of one variable 的网络，并将出现的学习分析为分布在网络中的属性。

ABSTRACT

In this paper we investigate a neural network model in which weights between computational nodes are modified according to a local learning rule. To determine whether local learning rules are sufficient for learning, we encode the network architectures and learning dynamics genetically and then apply selection pressure to evolve networks capable of learning the four boolean functions of one variable. The successful networks are analysed and we show how learning behaviour emerges as a distributed property of the entire network. Finally the utility of genetic algorithms as a tool of discovery is discussed.

研究动机与目标

• 激发对局部学习规则是否足以在神经网络中实现学习的思考。
• 以基因方式编码网络架构和学习动力学，以便进行进化测试。
• 进化出能够在局部规则下学习 four boolean functions of one variable 的网络。
• 分析成功网络以理解作为分布属性的涌现学习行为。

提出的方法

• 用基因编码表示网络架构和学习动力学。
• 通过选择压力进化出能够学习 boolean functions of one variable 的网络。
• 评估在局部学习规则下跨进化网络的学习性能。
• 通过检查网络内的分布式相互作用来分析涌现学习行为。
• 讨论遗传算法在神经学习发现中的作用。

实验结果

研究问题

• RQ1 如果网络架构和学习动力学通过基因进化，局部学习规则是否足以实现学习？
• RQ2 进化出的网络是否呈现出跨架构的分布式学习属性，而非局部化？
• RQ3 哪些网络的结构特征与成功学习 four boolean functions of one variable 相关？
• RQ4 遗传算法在发现有效学习规则方面作为工具有多大用处？

主要发现

• 使用局部学习规则的进化网络能够学习 four boolean functions of one variable。
• 学习行为作为整个网络的分布式属性涌现，而不是局部化于特定节点或规则。
• 基因编码和进化压力可以揭示神经网络中的有效学习动力学。
• 在学习规则进化的背景下将遗传算法作为发现工具进行讨论。