[论文解读] Predictive Coding Approximates Backprop along Arbitrary Computation Graphs

Beren Millidge, Alexander Tschantz+1 more|arXiv (Cornell University)|Jun 7, 2020

Advanced Memory and Neural ComputingEngineering被引用 17

一句话总结

本文证明，预测编码（predictive coding）——一种依赖局部和赫布可塑性的生物合理学习框架——在任意计算图上渐近逼近反向传播。结果表明，预测编码网络可训练复杂模型（如CNN、RNN和LSTM），其性能与反向传播相当，从而实现标准深度学习架构的生物合理实现。

ABSTRACT

Backpropagation of error (backprop) is a powerful algorithm for training machine learning architectures through end-to-end differentiation. However, backprop is often criticised for lacking biological plausibility. Recently, it has been shown that backprop in multilayer-perceptrons (MLPs) can be approximated using predictive coding, a biologically-plausible process theory of cortical computation which relies only on local and Hebbian updates. The power of backprop, however, lies not in its instantiation in MLPs, but rather in the concept of automatic differentiation which allows for the optimisation of any differentiable program expressed as a computation graph. Here, we demonstrate that predictive coding converges asymptotically (and in practice rapidly) to exact backprop gradients on arbitrary computation graphs using only local learning rules. We apply this result to develop a straightforward strategy to translate core machine learning architectures into their predictive coding equivalents. We construct predictive coding CNNs, RNNs, and the more complex LSTMs, which include a non-layer-like branching internal graph structure and multiplicative interactions. Our models perform equivalently to backprop on challenging machine learning benchmarks, while utilising only local and (mostly) Hebbian plasticity. Our method raises the potential that standard machine learning algorithms could in principle be directly implemented in neural circuitry, and may also contribute to the development of completely distributed neuromorphic architectures.

研究动机与目标

• 弥合生物合理学习与深度学习中反向传播强大优化能力之间的差距。
• 证明预测编码可逼近任意计算图上的自动微分，而不仅限于多层感知机。
• 提出一种系统性方法，仅使用局部连接和赫布可塑性，将标准机器学习架构转换为预测编码等价形式。
• 验证预测编码网络在真实世界基准测试中实现与反向传播相当的性能，同时保持生物合理性。

提出的方法

• 作者使用变分推断和自由能最小化，将预测编码建模为在计算图上对生成模型的优化。
• 推导出潜在变量均值和方差的变分更新规则，其中方差具有闭式解，从而简化优化过程。
• 系统动态被建模为对自由能的梯度下降，每个节点的更新规则仅依赖于局部预测误差和局部导数。
• 推导出固定点方程，表明系统在极限下收敛至与反向传播梯度等价的解。
• 该方法被应用于构建CNN、RNN和LSTM的预测编码等价形式，包括具有乘法交互作用和非层状结构的模型。
• 该方法仅使用局部连接和类似赫布的学习规则，无需权重共享或非局部误差传播。

实验结果

研究问题

• RQ1 预测编码是否不仅能在多层感知机中逼近反向传播，也能在任意计算图中实现？
• RQ2 预测编码网络中的学习规则是否可严格局部化和赫布化，同时仍获得与反向传播等价的梯度？
• RQ3 预测编码能否用于训练LSTM和CNN等复杂架构，并实现与标准反向传播训练相当的性能？
• RQ4 预测编码与一般计算图中自动微分之间是否存在形式上的数学等价性？
• RQ5 该框架是否可通过生成模型中的可学习精度支持不确定性感知学习？

主要发现

• 预测编码在仅使用局部和赫布学习规则的条件下，渐近收敛至任意计算图上的精确反向传播梯度。
• 该方法成功构建了CNN、RNN和LSTM的预测编码等价形式，包括具有复杂内部分支和乘法交互作用的模型。
• 预测编码模型在具有挑战性的机器学习基准测试中实现了与标准反向传播训练模型相当的性能。
• 推导表明，最优变分方差具有闭式解，简化了优化过程，使注意力可集中于均值更新。
• 从自由能最小化过程中推导出的固定点方程在极限下精确恢复了反向传播更新规则，证实了数学等价性。
• 该框架通过可学习精度支持不确定性感知学习，实现在训练过程中对预测不确定性的注意力机制。