[论文解读] Unsupervised Learning in Synaptic Sampling Machines.

Emre Neftci, Bruno U. Pedroni+3 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Memory and Neural Computing参考文献 21被引用 12

一句话总结

该论文提出了一种突触采样机（Synaptic Sampling Machine, SSM），一种利用突触不可靠性来引入基于采样的随机性、从而实现高效无监督学习的随机神经网络，其学习规则基于事件驱动的对比发散。SSM在MNIST数据集上实现了4.4%的错误率，优于受限玻尔兹曼机，且在超过80%的权重剪枝下仍保持极低的精度损失。

ABSTRACT

Recent studies have shown that synaptic unreliability is a robust and sufficient mechanism for inducing the stochasticity observed in cortex. Here, we introduce the Synaptic Sampling Machine (SSM), a stochastic neural network model that uses synaptic unreliability as a means to stochasticity for sampling. Synaptic unreliability plays the dual role of an efficient mechanism for sampling in neuromorphic hardware, and a regularizer during learning akin to DropConnect. Similar to the original formulation of Boltzmann machines, the SSM can be viewed as a stochastic counterpart of Hopfield networks, but where stochasticity is induced by a random mask over the connections. The SSM is trained to learn generative models with a synaptic plasticity rule implementing an event-driven form of contrastive divergence. We demonstrate this by learning a model of MNIST hand-written digit dataset, and by testing it in recognition and inference tasks. We find that SSMs outperform restricted Boltzmann machines (4.4% error rate vs. 5%), they are more robust to overfitting, and tend to learn sparser representations. SSMs are remarkably robust to weight pruning: removal of more than 80% of the weakest connections followed by cursory re-learning causes only a negligible performance loss on the MNIST task (4.8% error rate). These results show that SSMs offer substantial improvements in terms of performance, power and complexity over existing methods for unsupervised learning in spiking neural networks, and are thus promising models for machine learning in neuromorphic execution platforms.

研究动机与目标

• 开发一种生物可解释且能效高效的无监督学习方法，适用于脉冲神经网络，利用突触不可靠性作为随机性的来源。
• 设计一种学习规则，使随机网络能够实现生成建模，同时保持极低的计算和内存开销。
• 在标准基准任务（如MNIST分类）上评估模型的性能与鲁棒性。
• 探究突触不可靠性是否可作为类似DropConnect的正则化器，从而提升泛化能力与表征稀疏性。

提出的方法

• SSM被构想为霍普菲尔德网络的随机对应模型，其中随机性源于对突触连接施加的随机二值掩码，用以模拟突触不可靠性。
• 突触可塑性通过事件驱动的对比发散规则实现，支持以极低计算成本进行在线学习。
• 该模型通过调整突触权重以最小化数据分布与模型分布之间的差异，学习输入数据的生成表征。
• 网络采用一种采样机制，其中每个突触以由其权重决定的概率独立传递脉冲，从而引入受控的随机性。
• 学习规则基于模型下数据的对数似然梯度推导而来，已适配至脉冲动力学与事件驱动更新机制。
• 该架构在MNIST数据集上端到端训练，采用生成目标函数，推理与识别任务在训练后进行评估。

实验结果

研究问题

• RQ1 突触不可靠性能否作为神经网络中基于采样的学习的有效且高效随机性来源？
• RQ2 SSM在标准基准任务上与传统生成模型（如受限玻尔兹曼机）相比表现如何？
• RQ3 SSM在极端权重剪枝下能多大程度上保持泛化能力？其性能在极少微调后是否仍能维持？
• RQ4 在学习过程中，突触不可靠性是否起到正则化作用，从而提升泛化能力并促进表征稀疏性？

主要发现

• SSM在MNIST数字识别任务中实现了4.4%的错误率，优于受限玻尔兹曼机（其报告错误率为5%）。
• SSM表现出更强的抗过拟合能力，学习到的表征比基线模型更稀疏。
• 在移除超过80%的最弱突触连接后，SSM仅出现可忽略的性能下降，经过简短微调后错误率仅为4.8%。
• 该模型依赖于突触不可靠性，使其在神经形态硬件中可高效实现，显著降低功耗与复杂度。
• 事件驱动学习规则支持低延迟、在线训练，且计算开销极低。
• 由突触不可靠性引入的随机性起到了正则化作用，增强了泛化能力，并促进了稀疏特征学习。