[论文解读] SymBa: Symmetric Backpropagation-Free Contrastive Learning with Forward-Forward Algorithm for Optimizing Convergence

Heung-Chang Lee, Jeonggeun Song|arXiv (Cornell University)|Mar 15, 2023

Machine Learning and ELM被引用 7

一句话总结

SymBa 提出了一种生物上合理的、无需反向传播的对比学习算法，通过对称地平衡正样本和负样本的损失梯度，并引入内在类别模式（ICP）来保留类别信息，从而提升了收敛速度和性能。该方法在 MNIST、CIFAR-10 和 CIFAR-100 上均优于标准的前向-前向（Forward-Forward）和反向传播方法，实现了无需反向传播的最先进性能。

ABSTRACT

The paper proposes a new algorithm called SymBa that aims to achieve more biologically plausible learning than Back-Propagation (BP). The algorithm is based on the Forward-Forward (FF) algorithm, which is a BP-free method for training neural networks. SymBa improves the FF algorithm's convergence behavior by addressing the problem of asymmetric gradients caused by conflicting converging directions for positive and negative samples. The algorithm balances positive and negative losses to enhance performance and convergence speed. Furthermore, it modifies the FF algorithm by adding Intrinsic Class Pattern (ICP) containing class information to prevent the loss of class information during training. The proposed algorithm has the potential to improve our understanding of how the brain learns and processes information and to develop more effective and efficient artificial intelligence systems. The paper presents experimental results that demonstrate the effectiveness of SymBa algorithm compared to the FF algorithm and BP.

研究动机与目标

• 开发一种生物上合理的反向传播替代方法，以模拟皮层学习机制。
• 解决前向-前向（FF）算法中梯度收敛不对称的问题，该问题阻碍了稳定训练。
• 防止训练过程中类别信息的丢失，这是 FF 方法中使用独热编码叠加方式的关键局限。
• 通过统一正样本和负样本损失优化，提升收敛速度和模型性能。
• 证明无需反向传播的训练方法可在标准视觉基准上实现更优性能。

提出的方法

• SymBa 引入了一种对称损失函数，通过平衡正样本和负样本的梯度方向，确保稳定收敛。
• 它用内在类别模式（ICP）替代 FF 中的独热编码叠加，ICP 是嵌入输入通道中的稀疏、类别特定的噪声模式。
• ICP 通过从黑色图像中随机采样像素并以受控速率（最优值为 0.1）将其值设为 1 来生成。
• 该算法通过统一的对比损失函数，对每一层进行训练：最大化正样本的激活，最小化负样本的激活。
• 该方法通过在每一层内部通过两次前向传播计算梯度，避免了反向传播，从而保持了生物上的合理性。
• 对 ICP 率进行了消融实验，以找到最优稀疏度（0.1），该稀疏度在不引发梯度爆炸的前提下最大化类别区分能力。

实验结果

研究问题

• RQ1 无反向传播的学习算法能否在收敛性和性能上优于标准反向传播？
• RQ2 在无反向传播的情况下，如何在对比学习中实现对称的梯度更新？
• RQ3 通过内在类别模式（ICP）保留类别信息，是否能相比独热编码叠加提升模型性能？
• RQ4 ICP 的最优稀疏度水平是什么？该水平可在保持训练稳定性的同时最大化分类准确率？
• RQ5 无反向传播的算法能否在 CIFAR-10 和 CIFAR-100 等标准视觉基准上超越反向传播？

主要发现

• SymBa 在所有基准测试中均优于标准前向-前向（FF）算法，在使用 ICP 的情况下，CIFAR-10 上的测试误差为 40.91%，而 FF 使用独热编码叠加时为 49.63%。
• 在使用独热编码叠加时，SymBa 在 CIFAR-10 上的测试误差为 41.23%，显著低于 FF 的 49.63%。
• 消融研究证实，ICP 始终优于独热编码，当在 SymBa 框架中使用 ICP 而非叠加时，CIFAR-10 上准确率提升了 0.32%。
• ICP 的最优速率被确定为 0.1，因为更低的速率（如 0.05）会导致损失收敛至 NaN，原因是类别特定信号不足。
• SymBa 中的对称损失设计使得不同初始化下的收敛斜率保持一致，而 FF 则表现出较高的梯度尺度变异。
• SymBa 在 MNIST、CIFAR-10 和 CIFAR-100 上均达到了无反向传播方法中的最先进性能，证明了其作为反向传播生物合理替代方案的潜力。