[论文解读] Synaptic Plasticity Models and Bio-Inspired Unsupervised Deep Learning: A Survey

Gabriele Lagani, Fabrizio Falchi+2 more|arXiv (Cornell University)|Jul 30, 2023

Advanced Memory and Neural ComputingEngineering被引用 3

一句话总结

本综述回顾了受生物学启发的突触可塑性模型——特别是赫布型和STDP规则——及其在无监督深度学习中的整合，突出其在解决基于反向传播的深度学习的关键局限性方面的潜力，如高数据与能耗需求、对抗样本脆弱性以及缺乏生物学合理性。它展示了这些机制如何实现局部化、无梯度的学习，并支持能效更高的类脑计算。

ABSTRACT

Recently emerged technologies based on Deep Learning (DL) achieved outstanding results on a variety of tasks in the field of Artificial Intelligence (AI). However, these encounter several challenges related to robustness to adversarial inputs, ecological impact, and the necessity of huge amounts of training data. In response, researchers are focusing more and more interest on biologically grounded mechanisms, which are appealing due to the impressive capabilities exhibited by biological brains. This survey explores a range of these biologically inspired models of synaptic plasticity, their application in DL scenarios, and the connections with models of plasticity in Spiking Neural Networks (SNNs). Overall, Bio-Inspired Deep Learning (BIDL) represents an exciting research direction, aiming at advancing not only our current technologies but also our understanding of intelligence.

研究动机与目标

• 通过回顾生物合理的突触可塑性机制，弥合神经科学与人工智能之间的差距。
• 解决当前深度学习的关键局限，包括对大规模标注数据集的依赖、高能耗以及对对抗性输入的脆弱性。
• 探索受神经可塑性启发的无监督学习机制如何实现稳健、高效且具有生物学合理性的AI系统。
• 考察生物启发可塑性与深度学习架构及脉冲神经网络（SNNs）的整合，以支持类脑计算。
• 强调局部化、无梯度学习规则（如STDP）在克服RBF网络等深层网络中的梯度消失问题方面的潜力。

提出的方法

• 系统性回顾单神经元的赫布型学习规则，包括基于协方差和欧亚规则（Oja’s rule）的方法，这些方法模拟无监督特征提取。
• 将可塑性机制扩展至多神经元群体，将其与聚类、主成分分析（PCA）和流形学习等模式发现技术相联系。
• 分析STDP（脉冲时序依赖可塑性）作为一种生物合理的规则，其突触权重变化取决于突触前与突触后脉冲的时间差，遵循双指数分布函数。
• 在混合训练框架中整合生物启发可塑性与传统反向传播，以兼顾性能与生物合理性。
• 探索脉冲神经网络（SNNs）作为实现生物真实学习的载体，支持在类脑硬件上实现能效高效的部署。
• 评估计算权衡，包括仿真成本与并行化策略，特别是利用GPU加速以提升效率。

实验结果

研究问题

• RQ1 赫布型与基于STDP的突触可塑性规则如何形式化并应用于无监督深度学习架构？
• RQ2 无监督学习算法（如PCA、聚类）与神经元群体中生物启发可塑性机制之间存在何种关联？
• RQ3 生物启发可塑性规则在哪些方面可提升对对抗性输入的鲁棒性，并降低深度学习中的数据与能耗需求？
• RQ4 STDP与SNNs如何实现类脑硬件上的高效、低功耗推理与训练？
• RQ5 在深层网络中结合基于梯度的反向传播与局部化、生物合理的学习规则面临哪些挑战与机遇？

主要发现

• STDP通过在突触前脉冲先于突触后脉冲时加强突触连接，实现了脉冲神经元中的赫布原则，权重变化遵循脉冲时间差的双指数函数。
• 赫布型学习规则（如欧亚规则）可实现等效于主成分分析（PCA）的无监督特征提取，以生物合理的方式实现降维。
• 生物启发可塑性机制，尤其是STDP，支持局部化、无梯度训练，可缓解梯度消失问题，并实现对RBF网络等深层架构的高效训练。
• 采用STDP训练的脉冲神经网络（SNNs）通过利用稀疏的、事件驱动的计算，为实现能效高效的AI提供了路径，适用于类脑硬件。
• 结合反向传播与生物启发可塑性的混合训练框架在性能与生物合理性之间展现出平衡潜力，尽管性能仍落后于纯反向传播方法。
• 将神经科学洞见与工程方法相结合，可相互促进两大学科的发展，不仅推动AI进步，也深化对大脑功能的理解。