[论文解读] Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural Networks

Fenglei Fan, Yingxin Li+3 more|arXiv (Cornell University)|Jan 23, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文提出将生物神经元多样性整合到人工神经网络中，以提升效率、可解释性和记忆能力——这些是当前人工智能的关键局限。通过建模受大脑生物学启发的异质神经元（如二次型、多项式、树突型），作者证明了多种神经元类型可超越标准的ReLU网络在复杂性和泛化能力方面的表现，推动了神经形态人工智能（NeuroAI）在理论、设计与神经信息学方面的进展。

ABSTRACT

Throughout history, the development of artificial intelligence, particularly artificial neural networks, has been open to and constantly inspired by the increasingly deepened understanding of the brain, such as the inspiration of neocognitron, which is the pioneering work of convolutional neural networks. Per the motives of the emerging field: NeuroAI, a great amount of neuroscience knowledge can help catalyze the next generation of AI by endowing a network with more powerful capabilities. As we know, the human brain has numerous morphologically and functionally different neurons, while artificial neural networks are almost exclusively built on a single neuron type. In the human brain, neuronal diversity is an enabling factor for all kinds of biological intelligent behaviors. Since an artificial network is a miniature of the human brain, introducing neuronal diversity should be valuable in terms of addressing those essential problems of artificial networks such as efficiency, interpretability, and memory. In this Primer, we first discuss the preliminaries of biological neuronal diversity and the characteristics of information transmission and processing in a biological neuron. Then, we review studies of designing new neurons for artificial networks. Next, we discuss what gains can neuronal diversity bring into artificial networks and exemplary applications in several important fields. Lastly, we discuss the challenges and future directions of neuronal diversity to explore the potential of NeuroAI.

研究动机与目标

• 通过借鉴生物神经元多样性，解决人工神经网络中的关键局限，如效率低下、可解释性差和记忆能力有限。
• 探索整合多种神经元类型（如二次型、多项式、树突型）是否可超越标准的同质ReLU单元，从而提升网络性能。
• 为异质网络建立理论与方法论基础，包括优化、泛化与可扩展性分析。
• 推动人工神经元的神经信息学发展，实现标准化建模、知识图谱构建及多模块协同。
• 通过将神经科学洞见融入人工网络，推动下一代人工智能的发展，促进新兴领域神经形态人工智能（NeuroAI）的进步。

提出的方法

• 提出一种设计人工神经元的框架，其计算机制多样化（如二次型、多项式、树突计算），灵感源自生物神经元的形态与功能。
• 引入QuadraLib库，用于高效优化与设计探索二次型网络，支持非线性神经元类型的可扩展训练。
• 适配并扩展现有深度学习工具（如ReLinear训练算法），以支持新型神经网络架构，如二次型自编码器。
• 应用张量分解技术对深层多项式网络进行稀疏化处理，提升效率，同时不损失表达能力。
• 开发人工神经元的神经信息学流程，包括本体建模、数据库构建与知识图谱集成，以支持神经元适应性与连接性分析。
• 对现有深度学习理论（如神经正切核、双下降现象）进行理论拓展，以评估异质网络中的泛化与优化性能。

Figure 1: The rapid growth of the number of articles on the research of new neurons in deep learning. The data are based on the search in the Web of Science on December 12, 2022, with the time range from 2000 to 2022 according to the keyword “Deep Learning New Neurons”.

实验结果

研究问题

• RQ1 引入生物启发的神经元多样性在多大程度上能提升人工神经网络的效率、可解释性与记忆容量？
• RQ2 与标准ReLU神经元相比，异质神经元类型（如二次型、多项式、树突型）在表达能力与泛化能力方面表现如何？
• RQ3 鉴于已脱离‘一劳永逸’的同质化范式，分析异质神经网络中优化、泛化与可扩展性的理论基础需要哪些支持？
• RQ4 如何开发神经信息学工具，以实现人工神经元及其相互作用的标准化、组织化与建模，从而支持多模块协同？
• RQ5 在深度学习架构中，用多样化、功能专业化神经元替代同质激活函数，其实际与理论影响是什么？

主要发现

• 人工网络中的神经元多样性可显著提升表达能力与复杂性，其中深度比宽度更有效于最大化复杂性度量。
• QuadraLib库（支持二次型网络）荣获MLSys2022最佳论文奖，证明了其在实际可行性与效率增益方面的优势。
• 通过张量分解，二次型与多项式网络可实现稀疏化，从而在保持表征能力的同时实现高效训练与部署。
• 如《Dendrite》一书所详述，树突计算模型提供了生物上合理的非线性整合机制，支持高级信息处理。
• 理论分析表明，异质网络在效率方面可能优于同质网络，但其泛化与优化理论仍处于初步发展阶段。
• 通过本体、数据库与知识图谱实现的人工神经元神经信息学，可实现对多样化神经元类型在人工网络中系统化设计、解释与协同。

Figure 2: Neurons exhibiting an extraordinary morphological diversity. The shape classifications of neurons include unipolar, bipolar, pseudounipolar, multipolar, and so on.