[论文解读] Tightening the Biological Constraints on Gradient-Based Predictive Coding

Nicholas Alonso, Emre Neftci|arXiv (Cornell University)|Apr 30, 2021

Neural dynamics and brain function参考文献 34被引用 4

一句话总结

该论文通过使用ReLU激活函数强制神经元发放率非负、用可学习的反馈权重矩阵替代权重转置、并引入新型误差编码方案（基于除法和基于减法），在梯度驱动的预测编码（PC）中增强了生物学上的合理性，避免了负的神经活动。改进后的PC模型在MNIST分类任务上的表现与原始PC模型及反向传播方法相当，证明了其在生物约束和神经形态学习中的可行性。

ABSTRACT

Predictive coding (PC) is a general theory of cortical function. The local, gradient-based learning rules found in one kind of PC model have recently been shown to closely approximate backpropagation. This finding suggests that this gradient-based PC model may be useful for understanding how the brain solves the credit assignment problem. The model may also be useful for developing local learning algorithms that are compatible with neuromorphic hardware. In this paper, we modify this PC model so that it better fits biological constraints, including the constraints that neurons can only have positive firing rates and the constraint that synapses only flow in one direction. We also compute the gradient-based weight and activity updates given the modified activity values. We show that, under certain conditions, these modified PC networks perform as well or nearly as well on MNIST data as the unmodified PC model and networks trained with backpropagation.

研究动机与目标

• 通过解决关键的神经生理学约束，开发一种更符合生物学原理的基于梯度的预测编码方法。
• 将标准PC中不切实际的权重转置替换为可学习的反馈权重矩阵。
• 通过使用ReLU激活函数确保神经活动值保持非负，同时保留梯度流动。
• 设计并评估新型误差编码方案，仅使用正发放率表示预测误差。
• 证明改进后的模型在监督学习任务（如MNIST）中仍能保持高性能。

提出的方法

• 在误差传播中，用一个独立的、可学习的反馈权重矩阵替代原有的权重转置，并通过[12]中的规则进行训练或随机初始化。
• 应用ReLU激活函数以强制实现非负的神经活动值，避免出现生物学上不合理的负发放率。
• 开发梯度计算方法，即使在ReLU不可微的情况下也能保留信息，从而实现通过ReLU层的反向传播。
• 提出两种新型误差编码方案：基于除法的编码和基于减法的阈值编码，两者均确保误差神经元仅具有正发放率。
• 为这些新型编码方案计算梯度，并将其整合到权重和活动值更新的学习规则中。
• 在多种配置下对改进后的PC模型在MNIST数据集上进行测试，以评估其性能和泛化能力。

实验结果

研究问题

• RQ1 通过使用ReLU激活函数强制实现非负神经活动值，能否使基于梯度的预测编码更具生物学合理性？
• RQ2 将误差传播中的权重转置替换为可学习的反馈权重矩阵，是否能在提升生物学合理性的同时保持学习性能？
• RQ3 能否通过新型编码方案（如基于除法或减法的阈值编码）仅使用正发放率来表示预测误差？
• RQ4 不同误差编码方案（基于除法与基于减法）对改进后PC模型的学习性能和梯度流动有何影响？
• RQ5 由此产生的生物约束型PC模型是否能在监督学习任务中实现与标准反向传播和原始PC模型相当的性能？

主要发现

• 采用ReLU激活神经元和可学习反馈权重的改进PC模型，在MNIST测试准确率上与原始PC模型和标准反向传播方法相当。
• 基于减法的阈值误差编码方案成功地仅用正发放率表示了负误差，实现了生物学上合理的误差信号传递。
• 基于除法的误差编码方案，此前研究表明其比减法编码更符合神经生理学数据，现已成功集成到模型中，并实现了正确的梯度计算。
• 通过改进的反向传播方法，ReLU激活层的梯度计算得以保留，尽管ReLU本身不可微，但有效学习仍能维持。
• 使用训练好的反馈权重的模型优于随机初始化反馈权重的版本，表明反馈权重的学习可提升性能。
• 总体而言，改进后的PC模型在MNIST上的表现与原始PC模型和反向传播方法相当或几乎相当，验证了其在神经形态学习和生物启发学习中的潜力。