[论文解读] The Cascaded Forward Algorithm for Neural Network Training

Gongpei Zhao, Tao Wang+4 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出 CaFo，一种用于深度神经网络的新型无反向传播训练框架，通过使用具有独立、无反向传播训练的预测器的级联神经模块，直接输出类别分布。通过消除负采样并支持并行训练，CaFo 在图像分类基准测试中相较于 Forward-Forward 和传统反向传播等基线方法展现出更优的准确率和效率，尤其在标签空间较大的多分类场景中表现突出。

ABSTRACT

Backpropagation algorithm has been widely used as a mainstream learning procedure for neural networks in the past decade, and has played a significant role in the development of deep learning. However, there exist some limitations associated with this algorithm, such as getting stuck in local minima and experiencing vanishing/exploding gradients, which have led to questions about its biological plausibility. To address these limitations, alternative algorithms to backpropagation have been preliminarily explored, with the Forward-Forward (FF) algorithm being one of the most well-known. In this paper we propose a new learning framework for neural networks, namely Cascaded Forward (CaFo) algorithm, which does not rely on BP optimization as that in FF. Unlike FF, our framework directly outputs label distributions at each cascaded block, which does not require generation of additional negative samples and thus leads to a more efficient process at both training and testing. Moreover, in our framework each block can be trained independently, so it can be easily deployed into parallel acceleration systems. The proposed method is evaluated on four public image classification benchmarks, and the experimental results illustrate significant improvement in prediction accuracy in comparison with the baseline.

研究动机与目标

• 为解决反向传播存在的生物不现实性及实际局限性，如梯度消失和对完整网络梯度计算的依赖。
• 消除训练过程中对负采样和反向传播的依赖，实现更符合生物机制且更高效的训练。
• 构建一种框架，使每个神经模块及其关联的预测器可独立训练，支持并行化与模块化部署。
• 提升预测准确率与训练效率，尤其在具有大量类别的多分类任务中。
• 探索非反向传播训练在深度网络中的可行性，同时保持或超越基于反向传播方法的性能。

提出的方法

• CaFo 框架由多个级联的神经模块组成，每个模块包含卷积、池化、归一化和激活层，将输入特征映射到新的表征空间。
• 每个模块使用非反向传播方法（如 DFA 或随机初始化）进行预训练，避免梯度计算，支持独立训练。
• 在每个模块上附加一个逐层预测器，仅通过前向传播训练，以最小化输出与真实标签之间的预测误差（MSE、CE 或 SL）。
• 推理阶段，最终预测为所有预测器输出的加权或平均组合，实现无需反向传播的端到端分类。
• 该方法直接输出类别分布而非标量得分，更适合多分类任务。
• 该框架支持模块与预测器的并行训练，提升在分布式系统中的可扩展性与部署效率。

实验结果

研究问题

• RQ1 能否通过使用级联前向模块与独立预测器，在无反向传播的情况下有效训练深度神经网络？
• RQ2 在无反向传播训练设置下，CaFo 的性能与反向传播和 Forward-Forward 方法相比如何？
• RQ3 不同的神经模块训练策略（如 DFA、随机初始化）对 CaFo 最终准确率有何影响？
• RQ4 级联模块数量的增加如何影响模型的泛化能力与过拟合现象？
• RQ5 来自不同特征层级的多个预测器组合是否能提升最终分类性能，相比单头模型？

主要发现

• CaFo 在 CIFAR-10、CIFAR-100、MNIST 和 Mini-ImageNet 上，作为无反向传播方法，达到了最先进的性能，显著优于 Forward-Forward 及其他基线方法。
• 该方法消除了负采样的需求，提升了训练稳定性，并降低了对采样质量的敏感性。
• 使用直接反馈对齐（DFA）预训练神经模块的效果优于随机目标投影，证明了 DFA 在无 BP 训练中的有效性。
• 增加模块数量可降低训练误差（拟合更好），但当模块过多时会导致测试集上出现过拟合，表明容量与泛化能力之间存在权衡。
• 深层模块中的预测器始终优于浅层模块中的预测器，表明层次化特征对分类更具判别性。
• 通过融合所有预测器输出得到的最终预测，其测试误差低于任一单个预测器，验证了 CaFo 框架中集成融合策略的有效性。