[论文解读] On the Infinite Width and Depth Limits of Predictive Coding Networks

Francesco Innocenti, El Mehdi Achour+1 more|arXiv (Cornell University)|Feb 7, 2026

Single-cell and spatial transcriptomics被引用 0

一句话总结

论文证明对于线性预测编码网络（PCN），宽度稳定性和特征学习参数化的集合与反向传播（BP）相匹配；在宽模型极限（N >> L）下，PC 梯度收敛于 BP 梯度；并且这对具有适当深度缩放的深度残差网络同样成立。线性与非线性网络的实验支持这些极限，显示在达到活动平衡时 PC 收敛到 BP。

ABSTRACT

Predictive coding (PC) is a biologically plausible alternative to standard backpropagation (BP) that minimises an energy function with respect to network activities before updating weights. Recent work has improved the training stability of deep PC networks (PCNs) by leveraging some BP-inspired reparameterisations. However, the full scalability and theoretical basis of these approaches remains unclear. To address this, we study the infinite width and depth limits of PCNs. For linear residual networks, we show that the set of width- and depth-stable feature-learning parameterisations for PC is exactly the same as for BP. Moreover, under any of these parameterisations, the PC energy with equilibrated activities converges to the BP loss in a regime where the model width is much larger than the depth, resulting in PC computing the same gradients as BP. Experiments show that these results hold in practice for deep nonlinear networks, as long as an activity equilibrium seem to be reached. Overall, this work unifies various previous theoretical and empirical results and has potentially important implications for the scaling of PCNs.

研究动机与目标

• 通过将预测编码与反向传播联系起来，激发对神经电路信用分配的理解。
• 推导适合 PCN 的有原理的宽度和深度感知参数化，使学习稳定。
• 在线性和残差网络的宽域中建立 PCN 与 BP 梯度的理论等价性。
• 将这些洞见扩展到非线性网络并进行实证验证。
• 讨论对扩大 PCN 尺度和学习规则生物学可行性的影响。

提出的方法

• 给出带缩放指数 a、b、c、d 的线性多层感知机（MLP）的通用宽度参数化，并令宽度为 N。
• 使用平衡的 PC 能量 F* 来通过 s 关联 PC 学习与重新缩放的均方误差（MSE）损失。
• 证明定理1：PC 的宽度稳定和特征学习参数化与 BP 相匹配。
• 给出推论3.2：当 N 趋向无穷大时，F*(s) 与 L(s) 及 PC 梯度收敛于 BP 梯度。
• 将参数化扩展到线性残差网络；证明定理2：PC 的深度感知参数化与 BP 匹配（α = 1/2）。
• 在线性与非线性网络上提供实证验证；证明在宽模型且达到平衡活动时收敛到 BP 的结果（图4）。
• 讨论对 PCN 的稳定性、扩展性及生物学可行性的意义；概述局限性与未来工作。

Figure 1 : Under width- and depth-stable feature-learning parameterisations of linear residual networks, PC converges to BP when the model width is much larger than the depth, $N\gg L$ . We trained linear residual networks on CIFAR-10 with the mean-field parameterisation (as defined in Table 2 ) and

实验结果

研究问题

• RQ1 是否可以推导出能够实现稳定学习的有原理的宽度与深度感知的 PCN 参数化？
• RQ2 在上述参数化下，PC 梯度是否在无穷宽或无穷深的极限中收敛到 BP 梯度？
• RQ3 这些结果是否可以从线性扩展到具有实际平衡活动的非线性 PCN？
• RQ4 对扩大 PCN 尺度以及学习规则的生物学可行性有哪些实际意义？

主要发现

• 定理1：对于具有平衡活动的线性 MLP，PC 的宽度稳定性和特征学习参数化与 BP 相同。
• 推论3.2：在这些参数化下，当宽度 N 趋向无穷时，PC 梯度收敛于 BP 梯度（s(*) 趋向 1）。
• 定理2：对于线性残差网络，PC 的宽度与深度稳定的特征学习参数化与 BP 相匹配（α = 1/2）。
• 推论4.2：在 N 趋向无穷且 L 趋向无穷、且 N 相对于 L 的关系满足 N 越大越优的情形下，PC 梯度收敛于 BP 梯度。
• 图4及相关结果表明，当宽度远大于深度且活动达到平衡时，非线性网络获得接近 BP 的梯度。
• 本工作提供一个统一视角，将无穷宽/无穷深分析与实际 PCN 训练及稳定性联系起来。

Figure 2 : Under width-stable and feature-learning parameterisations of linear MLPs, PC converges to BP at large width. We trained deep linear MLPs ( $L=5$ ) of varying widths $N$ with full-batch GD on a toy task with binary labels. All models used the mean-field parameterisation as defined in Table