[论文解读] Towards deep learning with segregated dendrites

Jordan Guergiuev, Timothy Lillicrap+1 more|arXiv (Cornell University)|Oct 1, 2016

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出一种生物上合理的深度学习算法，采用具有分离树突的多 compartment 神经元，以无需反向传播的方式解决信用分配问题。通过将感觉输入与反馈信号分离至不同的树突 compartment，该模型使分层网络能够通过局部突触可塑性学习层次表征，其图像分类性能优于单层网络。

ABSTRACT

Deep learning has led to significant advances in artificial intelligence, in part, by adopting strategies motivated by neurophysiology. However, it is unclear whether deep learning could occur in the real brain. Here, we show that a deep learning algorithm that utilizes multi-compartment neurons might help us to understand how the brain optimizes cost functions. Like neocortical pyramidal neurons, neurons in our model receive sensory information and higher-order feedback in electrotonically segregated compartments. Thanks to this segregation, the neurons in different layers of the network can coordinate synaptic weight updates. As a result, the network can learn to categorize images better than a single layer network. Furthermore, we show that our algorithm takes advantage of multilayer architectures to identify useful representations---the hallmark of deep learning. This work demonstrates that deep learning can be achieved using segregated dendritic compartments, which may help to explain the dendritic morphology of neocortical pyramidal neurons.

研究动机与目标

• 为解决生物神经网络中长期存在的信用分配挑战，即早期层的突触变化依赖于下游连接。
• 开发一种与已知神经生理学兼容的学习算法，特别是与具有分离基底和 apical 树突的新皮层锥体神经元形态一致。
• 证明深度学习——特别是层次表征学习——可从多 compartment 神经元中的局部突触可塑性规则中自然涌现。
• 提供一种大脑中深度学习的机制，避免非局部权重传输或对称反馈，这些在生物学上均不现实。
• 表明该模型在图像分类任务中可优于单层网络，验证其功能有效性。

提出的方法

• 使用多 compartment 神经元，其中感觉输入通过基底树突接收，反馈信号通过 apical 树突接收，模拟锥体神经元的解剖结构。
• 为基底和 apical 树突分别采用独立的学习规则：基底树突使用基于突触前与突触后活动的局部 Hebbian 类可塑性规则。
• apical 树突接收来自高层的反馈误差信号，通过一种非局部但生物学上合理的机制调节基底树突的可塑性。
• 基于平均放电率引入误差信号的缩放因子，以稳定学习动态并确保收敛。
• 使用带有 compartment 化突触电导（gB, gA, gD, gL）的 leaky integrate-and-fire 模型，模拟树突整合的生物物理特性。
• 应用时间平均窗口（Δt ≥ 50 ms）计算平均 postsynaptic 电位，确保在生物学合理条件下，期望的 PSP 近似于平均突触前放电率。

实验结果

研究问题

• RQ1 深度学习能否在无需反向传播或权重传输的生物真实神经网络中自然涌现？
• RQ2 锥体神经元中分离的树突 compartment 是否能通过局部可塑性规则支持层次表征学习？
• RQ3 所提出的模型是否在图像分类任务中优于单层网络？
• RQ4 高层的反馈信号如何在不依赖非局部权重信息的情况下影响低层树突的可塑性？
• RQ5 该学习规则在生物学合理的时常数和放电率下是否具有鲁棒性？

主要发现

• 该模型成功在多层架构中学习到层次表征，实现优于单层网络的图像分类性能。
• 性能提升归因于网络在各层中识别日益抽象表征的能力，这是深度学习的典型特征。
• 当平均窗口 Δt 足够长时，期望的 postsynaptic 电位（PSP）能紧密逼近平均突触前放电率，验证了学习动态的稳定性。
• 该模型在生物学合理参数下运行：τL = 10 ms，τs = 3 ms，平均放电率 ≈ 20 Hz 时，近似误差可忽略不计（≈0.001 ms），证实了简化假设 E[X][PSP] ≈ λ̄ 的有效性。
• 通过使用独立的树突 compartment，实现了基底树突的局部突触可塑性，同时仍能通过 apical 树突反馈实现有效的误差反向传播，从而在无需权重传输的情况下解决信用分配问题。
• 该模型表明，深度学习可被实现为与已知神经解剖学和生理学一致的形式，特别是锥体神经元中输入与反馈的分离。