[论文解读] Winner-Take-All Computation in Spiking Neural Networks

Nancy Lynch, Cameron Musco+1 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Memory and Neural Computing参考文献 80被引用 10

一句话总结

本文提出了一种生物上合理的随机脉冲神经网络模型，通过概率阈值神经元高效解决赢家通吃（WTA）问题。该模型为WTA电路提供了近似最优的构造方法，并建立了所需辅助神经元数量的理论下界，证明了随机性在神经计算中实现高效对称性破缺的可行性。

ABSTRACT

In this work we study biological neural networks from an algorithmic perspective, focusing on understanding tradeoffs between computation time and network complexity. Our goal is to abstract real neural networks in a way that, while not capturing all interesting features, preserves high-level behavior and allows us to make biologically relevant conclusions. Towards this goal, we consider the implementation of algorithmic primitives in a simple yet biologically plausible model of $stochastic\ spiking\ neural\ networks$. In particular, we show how the stochastic behavior of neurons in this model can be leveraged to solve a basic $symmetry-breaking\ task$ in which we are given neurons with identical firing rates and want to select a distinguished one. In computational neuroscience, this is known as the winner-take-all (WTA) problem, and it is believed to serve as a basic building block in many tasks, e.g., learning, pattern recognition, and clustering. We provide efficient constructions of WTA circuits in our stochastic spiking neural network model, as well as lower bounds in terms of the number of auxiliary neurons required to drive convergence to WTA in a given number of steps. These lower bounds demonstrate that our constructions are near-optimal in some cases. This work covers and gives more in-depth proofs of a subset of results originally published in [LMP17a]. It is adapted from the last chapter of C. Musco's Ph.D. thesis [Mus18].

研究动机与目标

• 研究生物神经网络中计算时间与网络复杂度之间的算法权衡。
• 设计一种捕捉关键生物相关特性的随机脉冲神经网络模型中的高效WTA电路。
• 建立WTA收敛所需辅助神经元数量的渐近下界，证明所提构造的近似最优性。
• 通过将神经元建模为具有固定非对称突触权重的概率阈值单元，实现理论分析与生物合理性的结合。
• 通过聚焦WTA等基本操作作为构建模块，为神经计算的算法理论奠定基础。

提出的方法

• 将神经元建模为概率阈值单元，其放电概率基于膜电位呈S形变化，以捕捉神经元放电的内在随机性。
• 采用非对称且固定的突触权重——兴奋性或抑制性——以模拟生物突触，避免玻尔兹曼机中对称权重的约束。
• 采用同步更新模型，神经元根据输入电位随机放电，从而支持对收敛动力学的分析。
• 通过概率竞争机制，利用辅助神经元放大输入放电率之间的差异，即使输入完全相同也能实现有效放大。
• 应用概率分析和集中不等式，推导收敛时间与辅助神经元数量的边界。
• 证明在给定步数内实现WTA所需的辅助神经元数量的下界，表明在某些参数范围内所提构造为近似最优。

实验结果

研究问题

• RQ1 如何在具有固定突触权重的生物上合理的随机脉冲神经网络模型中高效实现赢家通吃问题？
• RQ2 在该模型中，要在给定时间范围内实现WTA收敛，所需的最少辅助神经元数量是多少？
• RQ3 能否利用神经元放电的固有随机性，以计算高效的方式解决如领导者选举等对称性破缺任务？
• RQ4 所提出的WTA构造在资源效率（时间与神经元数量）方面与理论下界相比如何？
• RQ5 使用随机性和固定权重对实现基本神经计算原语有何影响？

主要发现

• 本文在随机脉冲神经网络模型中提出了高效的WTA电路构造，其收敛时间相对于输入数量呈对数时间复杂度。
• 建立了实现WTA收敛所需辅助神经元数量的理论下界，表明在某些参数范围内所提构造为近似最优。
• 神经元放电的随机性即使在输入神经元具有相同放电率时也能实现有效的对称性破缺，从而解决领导者选举问题。
• 该模型表明，神经元放电的随机性可作为计算优势，实现对基本神经计算问题的高效求解。
• 研究结果扩展了先前工作，为脉冲网络中WTA的时间与空间复杂度提供了严格的渐近分析，填补了该领域在相关边界研究上的空白。
• 该框架支持未来对神经计算原语（如汉明权重估计、字符串匹配和线性代数运算）在SNN中的探索。