[论文解读] Short-term synaptic plasticity optimally models continuous environments.

Timoleon Moraitis, Abu Sebastian+1 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Memory and Neural Computing参考文献 48被引用 5

一句话总结

本文提出，短期突触可塑性（STDP）使生物神经网络能够在持续变化的环境中实现最优推理。理论分析与仿真结果表明，采用局部无监督学习的生物启发脉冲神经网络（SNN）在移动遮挡条件下的视频帧识别任务中，优于最先进的人工神经网络（ANN），即使仅用少量静态图像进行训练，且仅使用单层神经元，仍能实现更高的准确率。

ABSTRACT

Biological neural networks operate with extraordinary energy efficiency, owing to properties such as spike-based communication and synaptic plasticity driven by local activity. When emulated in silico, such properties also enable highly energy-efficient machine learning and inference systems. However, it is unclear whether these mechanisms only trade off performance for efficiency or rather they are partly responsible for the superiority of biological intelligence. Here, we first address this theoretically, proving rigorously that indeed the optimal prediction and inference of randomly but continuously transforming environments, a common natural setting, relies on adaptivity through short-term spike-timing dependent plasticity, a hallmark of biological neural networks. Secondly, we assess this theoretical optimality via simulations and also demonstrate improved artificial intelligence (AI). For the first time, a largely biologically modelled spiking neural network (SNN) surpasses state-of-the-art artificial neural networks (ANNs) in all relevant aspects, in an example task of recognizing video frames transformed by moving occlusions. The SNN recognizes the frames more accurately, even if trained on few, still, and untransformed images, with unsupervised and synaptically-local learning, binary spikes, and a single layer of neurons - all in contrast to the deep-learning-trained ANNs. These results indicate that on-line adaptivity and spike-based computation may optimize natural intelligence for natural environments. Moreover, this expands the goal of exploiting biological neuro-synaptic properties for AI, from mere efficiency, to computational supremacy altogether.

研究动机与目标

• 确定生物神经机制（如短期突触可塑性）是否有助于生物智能的计算优越性，而不仅限于能效优势。
• 探究STDP是否能在持续变化的环境中实现最优预测与推理，这是自然界中常见的场景。
• 检验生物真实感的脉冲神经网络是否能在现实世界任务中超越最先进的人工神经网络的性能。
• 评估无监督、突触局部学习与二值脉冲在实现高性能的同时，如何以最小的架构复杂度达成目标。

提出的方法

• 理论分析证明，短期脉冲时间依赖可塑性（STDP）在数学上是最优的，适用于随机且持续变换环境中的预测与推理。
• 通过单层神经元、二值脉冲及无监督、局部可用学习规则的脉冲神经网络（SNN）进行仿真。
• SNN仅使用少量未变换的静态图像进行训练，并在受移动遮挡影响的视频帧上进行测试，以评估其泛化能力与适应性。
• 在相同的识别任务中，将SNN的性能与经过深度学习训练的人工神经网络（ANNs）进行基准对比。
• 学习规则仅依赖局部前突触与后突触活动，模拟生物突触可塑性，无需反向传播。
• 模型的适应性由STDP自然产生，可在无需重新训练的情况下在线调整以应对动态输入变化。

实验结果

研究问题

• RQ1 短期脉冲时间依赖可塑性（STDP）在理论上是否是最优的，适用于持续变化环境中的推理？
• RQ2 具有局部无监督学习的生物真实感脉冲神经网络是否能在动态视觉识别中超越最先进的人工神经网络？
• RQ3 在无反向传播且仅使用单层结构的情况下，具有二值脉冲的SNN在遮挡条件下的视频识别中能达到多高的准确率？
• RQ4 通过STDP实现的在线适应性是否能在仅使用极少静态数据训练的情况下，仍实现更优性能？

主要发现

• 理论分析严格证明，短期STDP在持续变换环境中进行推理时是最优的。
• 尽管仅用少量静态图像进行训练，SNN在移动遮挡的视频帧上识别准确率仍高于最先进的人工神经网络（ANNs）。
• SNN在所有关键性能指标上（准确率、鲁棒性与适应性）均优于ANN，且未使用反向传播或深层架构。
• 性能提升仅通过无监督、突触局部学习规则与二值脉冲实现，凸显了生物机制的计算潜力。
• 结果表明，通过STDP实现的在线适应性可在自然动态环境中实现更优的推理能力。
• 本研究确立了生物突触特性不仅能实现能效优势，还能在真实世界AI任务中实现计算优越性。