[论文解读] Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks

Tommaso Salvatori, Yuhang Song+3 more|arXiv (Cornell University)|Mar 5, 2021

Neural dynamics and brain function参考文献 32被引用 17

一句话总结

本文提出零发散推理学习（Z-IL），一种生物上合理的算法，可在卷积神经网络和循环神经网络中精确复现反向传播（BP）。通过重新表述推理学习以消除收敛性要求并降低计算成本，Z-IL 在仅带来极小额外开销的情况下实现了与反向传播等效的性能，是首个在 CNN 和 RNN 等复杂架构上实现此目标的方法。

ABSTRACT

Predictive coding networks (PCNs) are an influential model for information processing in the brain. They have appealing theoretical interpretations and offer a single mechanism that accounts for diverse perceptual phenomena of the brain. On the other hand, backpropagation (BP) is commonly regarded to be the most successful learning method in modern machine learning. Thus, it is exciting that recent work formulates inference learning (IL) that trains PCNs to approximate BP. However, there are several remaining critical issues: (i) IL is an approximation to BP with unrealistic/non-trivial requirements, (ii) IL approximates BP in single-step weight updates; whether it leads to the same point as BP after the weight updates are conducted for more steps is unknown, and (iii) IL is computationally significantly more costly than BP. To solve these issues, a variant of IL that is strictly equivalent to BP in fully connected networks has been proposed. In this work, we build on this result by showing that it also holds for more complex architectures, namely, convolutional neural networks and (many-to-one) recurrent neural networks. To our knowledge, we are the first to show that a biologically plausible algorithm is able to exactly replicate the accuracy of BP on such complex architectures, bridging the existing gap between IL and BP, and setting an unprecedented performance for PCNs, which can now be considered as efficient alternatives to BP.

研究动机与目标

• 解决推理学习（IL）的局限性，其通过非平凡的收敛性要求和高计算成本近似反向传播（BP）。
• 弥合基于预测编码网络的生物上合理学习与 BP 在复杂深度学习模型中成功之间的差距。
• 证明 IL 的一种变体——Z-IL——可在卷积神经网络和循环神经网络中精确复现 BP 的动态过程。
• 表明 Z-IL 计算效率高，将推理步数从 IL 中的 T ≈ 100–200 减少至信号传播所需的最小深度 l_max。
• 确立 Z-IL 作为机器学习和神经科学领域中 BP 的可行且高性能的替代方案。

提出的方法

• Z-IL 通过推导出与 BP 完全匹配的精确权重更新方程，对推理学习进行重构，适用于卷积神经网络和多对一的循环神经网络。
• 该方法采用一种改进的推理过程，可在无需收敛至平衡状态的情况下跨层计算预测误差，从而消除了对迭代推理直至稳定性的需求。
• 它引入了一种新颖的反馈机制，确保误差信号在非线性、深层架构中也能精确如 BP 所示地传播。
• 该算法基于传输输入到输出所需最少的推理步数（l_max）来计算权重更新，而非像 IL 那样需要 T 步。
• 理论推导基于自由能最小化和变分推断，既保持了生物合理性，又实现了与 BP 的数学等价性。
• 通过在多种架构（CNN、RNN）和数据集（FashionMNIST、ImageNet、Atari 游戏）上进行实证验证，比较了运行时间与准确率。

实验结果

研究问题

• RQ1 一种生物上合理的学习算法能否在卷积神经网络和循环神经网络等复杂深度学习架构中精确复现反向传播的权重更新？
• RQ2 Z-IL 是否消除了先前 IL 方法中在推理过程中必须收敛至平衡状态的非平凡且不现实的要求？
• RQ3 与标准推理学习相比，Z-IL 是否能以显著降低的计算成本实现与 BP 等效的性能？
• RQ4 Z-IL 与 BP 的等价性是否在多个权重更新步骤中保持不变，而不仅限于单次更新？
• RQ5 在 ImageNet 分类等大规模任务中，Z-IL 是否在保持生物合理性的同时，与 BP 的准确率和效率相当？

主要发现

• Z-IL 在卷积神经网络和循环神经网络中均精确复现了反向传播的权重更新，证明了其数学等价性。
• 该方法将所需推理步数从 IL 中的 T ≈ 100–200 减少至信号传播的最小深度 l_max，显著降低了计算成本。
• 平均而言，Z-IL 在人工神经网络中每轮权重更新耗时 3.81ms，在 RNN 中为 5.67ms，在 CNN 中为 8.86ms——与 BP 的耗时（分别为 3.72ms、5.64ms、8.72ms）相比仅带来微小额外开销。
• 相比之下，IL 每轮更新耗时约 594ms（人工神经网络）、420ms（RNN）和 661ms（CNN），比 BP 慢超过 100 倍。
• Z-IL 在 ImageNet 和 Atari 游戏上实现了与 BP 相当的准确率，证明其在复杂任务中是 BP 的实用且高效的替代方案。
• 结果表明，Z-IL 不仅在理论上与 BP 等价，而且在计算上切实可行，相比 IL 实现了数量级的速度提升。