[论文解读] The computational and learning benefits of Daleian neural networks

Adam Haber, Elad Schneidman|arXiv (Cornell University)|Oct 12, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文表明，尽管Daleian神经网络（即神经元严格为兴奋性或抑制性）的架构搜索空间远小于非Daleian网络，但其仍能以极高精度近似非Daleian网络的计算功能。令人惊讶的是，Daleian网络对突触噪声表现出更强的鲁棒性，并可通过神经元层面的参数调节实现高效学习，其性能可与传统的突触权重学习相媲美，表明Daleian网络在脑启发人工网络中具有潜在的生物学和计算优势。

ABSTRACT

Dale's principle implies that biological neural networks are composed of neurons that are either excitatory or inhibitory. While the number of possible architectures of such Daleian networks is exponentially smaller than non-Daleian ones, the computational and functional implications of using Daleian networks by the brain are mostly unknown. Here, we use models of recurrent spiking neural networks and rate-based networks to show, surprisingly, that despite the structural limitations on Daleian networks, they can approximate the computation performed by non-Daleian networks to a very high degree of accuracy. Moreover, we find that Daleian networks are more functionally robust to synaptic noise. We then show that unlike non-Daleian networks, Daleian ones can learn efficiently by tuning single neuron features, nearly as well as learning by tuning individual synaptic weights - suggesting a simpler and more biologically plausible learning mechanism. We thus suggest that in addition to architectural simplicity, Dale's principle confers computational and learning benefits for biological networks, and offers new directions for constructing and training biologically-inspired artificial neural networks

研究动机与目标

• 探究Dale原则（即限制神经元仅具有兴奋性或抑制性功能）是否会对神经网络的计算能力造成计算劣势。
• 比较Daleian与非Daleian循环神经网络在刺激编码与计算功能方面的性能表现。
• 评估Daleian网络在突触噪声下的鲁棒性，以及通过神经元层面与突触层面可塑性进行学习的效率。
• 探讨Daleian网络是否可作为计算能力强、且符合生物学原理的替代方案，用于标准人工神经网络。

提出的方法

• 在大规模循环脉冲发放与速率基神经网络中进行模拟，采用Daleian与非Daleian连接模式。
• 利用刺激与神经反应之间的互信息量化编码性能与功能相似性。
• 应用突触学习（权重调节）与神经元学习（调节神经元特异性参数，如阈值或增益）对网络进行训练。
• 通过脉冲发放分布中响应重叠的程度，测量非Daleian网络与Daleian网络之间的功能相似性。
• 通过引入随机突触噪声并测量性能下降程度，评估网络鲁棒性。
• 采用随机与结构化突触权重分布（包括对数正态权重）探索不同连接模式。

实验结果

研究问题

• RQ1 Daleian神经网络能否以高精度近似任意非Daleian网络的计算功能？
• RQ2 随机突触噪声对Daleian网络与非Daleian网络的功能鲁棒性有何影响？
• RQ3 与突触权重调节相比，通过调节Daleian网络中的神经元层面参数，能在多大程度上实现学习？
• RQ4 尽管Daleian网络的架构灵活性降低，是否仍存在功能上的优势？

主要发现

• Daleian网络能够以近乎完美的精度近似任意非Daleian网络的刺激-响应功能，其性能水平与内在生物噪声相当。
• 与非Daleian网络相比，Daleian网络在随机突触噪声下表现出显著更高的鲁棒性，表明其具有更强的功能稳定性。
• Daleian网络中的神经元层面学习可实现与突触学习相当的性能，提示其可能是一种更简单且更符合生物学原理的学习机制。
• 在采用神经元层面学习时，Daleian网络在刺激与神经反应之间的互信息方面，平均表现优于非Daleian网络。
• 随机采样的Daleian网络在成对相关性上呈现正偏态分布，与真实神经网络相似；而非Daleian网络则表现出平衡的相关性分布。
• 结果表明，Dale原则等结构约束可能增强生物与人工神经网络的计算与学习特性。