[论文解读] Stochastic neural computation without noise

Jakob Jordan, Mihai A. Petrovici+5 more|arXiv (Cornell University)|Oct 13, 2017

Neural dynamics and brain function被引用 2

一句话总结

本文提出使用确定性循环神经网络作为随机神经网络的共享噪声源，通过抑制性反馈来去相关噪声，从而消除对每个神经元单独噪声源的需求。该方法使大规模功能网络（数千个神经元）仅需一个紧凑的噪声生成网络即可实现高性能，已在二值化神经元和脉冲神经元模型中得到验证。

ABSTRACT

Neural-network models of high-level brain functions such as memory recall and reasoning often rely on the presence of stochasticity. The majority of these models assumes that each neuron in the functional network is equipped with its own private source of randomness, often in the form of uncorrelated external noise. However, both in vivo and in silico, the number of noise sources is limited due to space and bandwidth constraints. Hence, neurons in large networks usually need to share noise sources. Here, we show that the resulting shared-noise correlations can significantly impair the performance of stochastic network models. We demonstrate that this problem can be overcome by using deterministic recurrent neural networks as sources of uncorrelated noise, exploiting the decorrelating effect of inhibitory feedback. Consequently, even a single recurrent network of a few hundred neurons can serve as a natural noise source for large ensembles of functional networks, each comprising thousands of units. We successfully apply the proposed framework to a diverse set of binary-unit networks with different dimensionalities and entropies, as well as to a network reproducing handwritten digits with distinct predefined frequencies. Finally, we show that the same design transfers to functional networks of spiking neurons.

研究动机与目标

• 解决大规模神经网络中共享噪声源的局限性，其性能因噪声相关性而下降。
• 开发一种可扩展的替代方案，替代每个神经元独立的噪声源，该方案受生物和计算资源限制的制约。
• 证明单个确定性循环网络可作为多个功能网络的通用、不相关的噪声源。
• 在包括二值化和脉冲神经元模型在内的多种网络架构中验证该框架。
• 表明通过确定性网络中的反馈驱动去相关性，可有效缓解共享噪声相关性的影响。

提出的方法

• 使用一个小型确定性循环神经网络（RNN）作为集中式噪声生成器，替代独立的随机噪声源。
• 利用RNN内部固有的抑制性反馈效应，生成不相关的噪声信号。
• 将RNN的输出馈送到多个功能网络中，每个网络模拟记忆回溯或推理等高级脑功能。
• 通过利用RNN的内部动态和反馈机制，确保噪声信号在多个功能网络之间保持不相关。
• 将该框架应用于不同维度和熵值的二值化单元网络，以及具有预设频率响应的手写数字识别网络。
• 将该方法扩展至由脉冲神经元构成的功能网络，证明其在不同神经元模型间的可迁移性。

实验结果

研究问题

• RQ1 单个确定性循环网络能否有效替代随机神经网络中多个独立的噪声源？
• RQ2 共享噪声相关性如何影响大规模随机神经网络的性能？
• RQ3 确定性RNN中的抑制性反馈在多大程度上可对噪声信号进行去相关，以供多个功能网络使用？
• RQ4 该框架在包括高维和低熵系统在内的多种网络架构中是否能保持性能？
• RQ5 同一噪声生成RNN能否成功应用于二值化单元和脉冲神经元网络？

主要发现

• 一个包含数百个神经元的确定性RNN可作为多个数千个神经元的功能网络的有效且不相关的噪声源。
• RNN内部的抑制性反馈成功实现了噪声信号的去相关，防止了因共享噪声相关性导致的性能下降。
• 该框架在不同维度和熵值的二值化单元网络中均保持高性能，表现出强鲁棒性。
• 该方法成功复现了具有不同预设频率的手写数字识别任务，证实了功能保真度。
• 该设计可有效迁移至脉冲神经元构成的功能网络，表明其在二值化单元之外具有广泛适用性。
• 由共享噪声引起的性能下降被完全消除，实现了无需独立噪声源的可扩展随机神经计算。