[论文解读] Spike-based causal inference for weight alignment

Jordan Guerguiev, Konrad P. Körding+1 more|arXiv (Cornell University)|Oct 3, 2019

Neural dynamics and brain function参考文献 18被引用 11

一句话总结

本文提出一种基于回归不连续设计（RDD）的脉冲神经网络学习规则，通过使反馈权重与前向权重对齐，解决生物学习中的权重传输问题。该方法利用动作电位的不连续特性，估计神经元之间的因果影响，实现了优于反馈对齐方法的权重对齐效果，并在CIFAR-10、Fashion-MNIST、SVHN和VOC数据集上取得了更优的学习性能。

ABSTRACT

In artificial neural networks trained with gradient descent, the weights used for processing stimuli are also used during backward passes to calculate gradients. For the real brain to approximate gradients, gradient information would have to be propagated separately, such that one set of synaptic weights is used for processing and another set is used for backward passes. This produces the so-called "weight transport problem" for biological models of learning, where the backward weights used to calculate gradients need to mirror the forward weights used to process stimuli. This weight transport problem has been considered so hard that popular proposals for biological learning assume that the backward weights are simply random, as in the feedback alignment algorithm. However, such random weights do not appear to work well for large networks. Here we show how the discontinuity introduced in a spiking system can lead to a solution to this problem. The resulting algorithm is a special case of an estimator used for causal inference in econometrics, regression discontinuity design. We show empirically that this algorithm rapidly makes the backward weights approximate the forward weights. As the backward weights become correct, this improves learning performance over feedback alignment on tasks such as Fashion-MNIST, SVHN, CIFAR-10 and VOC. Our results demonstrate that a simple learning rule in a spiking network can allow neurons to produce the right backward connections and thus solve the weight transport problem.

研究动机与目标

• 为解决生物学习中的权重传输问题，即反向传播权重必须与前向权重镜像对称以实现梯度估计。
• 开发一种生物上合理的学习规则，使反馈权重在无需精确权重传输的情况下与前向权重对齐。
• 利用神经元不连续的放电行为作为突触可塑性中因果推断的天然机制。
• 通过因果估计最小化对称对齐代价函数，从而提升深度脉冲神经网络的训练性能。

提出的方法

• 该方法应用回归不连续设计（RDD），一种因果推断技术，以估计突触前动作电位对突触后活动的因果影响。
• 利用阈值化脉冲不连续性，构建准实验设置，其中动作电位的有无作为二元处理变量。
• 反馈权重更新规则被推导为RDD估计器的一个特例，旨在最小化对称对齐代价函数中的自注意力项。
• 该算法最小化对称对齐代价函数中的 $ρ_{\text{self}}$ 项，该指标衡量前向与反馈权重之间的方向对齐程度。
• 该方法在具有独立前向与反馈路径的脉冲网络中实现，使用标准反向传播进行训练，而反馈权重更新则采用RDD方法。
• 该方法在原则上与Dale定律相容，因其可通过抑制性中间神经元捕捉多突触效应。

实验结果

研究问题

• RQ1 是否可以利用神经元的不连续放电行为来估计因果突触影响并实现权重对齐？
• RQ2 基于回归不连续设计的学习规则是否在深度脉冲网络中优于反馈对齐方法？
• RQ3 该方法在不同网络层中使反馈权重与前向权重对齐的程度如何？
• RQ4 这种因果推断方法能否以生物上合理的方式解决权重传输问题？

主要发现

• RDD反馈训练在所有网络层中显著提升了反馈权重与前向权重之间的符号对齐度，尤其在反馈对齐方法失效的早期层中表现更优。
• 该方法在更深层中比反馈对齐更有效地减小了对称对齐代价函数中的 $ρ_{\text{self}}$ 项。
• 在CIFAR-10、Fashion-MNIST、SVHN和VOC数据集上，RDD反馈训练的测试误差性能与完整反向传播相当。
• 该算法在权重对齐度和学习准确率方面均优于反馈对齐方法以及近期Akrout等人（2019）提出的权重对齐方法。
• 反馈权重不仅与前向权重保持符号一致，还匹配其数值大小，优于硬编码的符号对称性。
• 该方法在理论上与Dale定律兼容，因其可通过中间中间神经元建模兴奋性与抑制性效应。