[论文解读] Online learning of long-range dependencies

Nicolas Zucchet, R. R. Meier+3 more|arXiv (Cornell University)|May 25, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出了一种新型在线学习算法，用于循环神经网络，通过在多层架构中利用独立的循环模块，仅以两倍推理的内存和计算开销即可实现精确的梯度计算。该方法在长程依赖任务上表现出色——在序列长度达4,000时性能与BPTT相当，表明模块化设计可简化在线信用分配，并提供一种生物上合理的学习机制。

ABSTRACT

Online learning holds the promise of enabling efficient long-term credit assignment in recurrent neural networks. However, current algorithms fall short of offline backpropagation by either not being scalable or failing to learn long-range dependencies. Here we present a high-performance online learning algorithm that merely doubles the memory and computational requirements of a single inference pass. We achieve this by leveraging independent recurrent modules in multi-layer networks, an architectural motif that has recently been shown to be particularly powerful. Experiments on synthetic memory problems and on the challenging long-range arena benchmark suite reveal that our algorithm performs competitively, establishing a new standard for what can be achieved through online learning. This ability to learn long-range dependencies offers a new perspective on learning in the brain and opens a promising avenue in neuromorphic computing.

研究动机与目标

• 解决由于内存限制导致反向传播时序（BPTT）不可行的递归网络在线学习挑战。
• 在深层RNN中实现精确的在线梯度计算，而无需依赖近似或启发式梯度估计方法。
• 探究架构设计——特别是独立循环模块——是否能简化在线信用分配，并使精确在线学习成为可行。
• 在合成记忆任务和长程竞技场基准上评估该方法，与BPTT、截断BPTT及以往在线学习方法进行性能比较。

提出的方法

• 该方法采用由独立循环模块组成的多层架构，其中每个循环单元独立运行，实现层内神经元间参数的解耦。
• 通过精确的复数微分方法，在每一层内实时计算梯度，实现精确的时间信用分配，而无需存储完整的激活轨迹。
• 在层间使用空间反向传播，将误差信号向前传播至时间，同时利用复数状态动力学在层内精确计算梯度。
• 该算法将循环连接限制为对角矩阵，并使用复数隐藏状态，从而在极小的额外开销下实现高效且精确的在线学习。
• 该方法兼容因果训练，通过将时间池化损失替换为逐步局部损失，并使用层归一化替代批量归一化。
• 该方法基于深度线性状态空间模型实现，包括LRU和HiPPO等变体，支持高表达能力的同时保持低维、独立的循环单元。

实验结果

研究问题

• RQ1 能否在仅略微增加相对于推理的内存和计算开销的前提下，在深层RNN中实现精确的在线梯度计算？
• RQ2 使用独立循环模块是否能显著提升长程时间任务上的在线学习性能？
• RQ3 与BPTT、截断BPTT及以往在线学习近似方法相比，该方法在学习长程依赖关系方面表现如何？
• RQ4 独立循环模块的架构是否可作为大脑中在线信用分配的生物上合理的机制？

主要发现

• 所提出的在线学习算法在长程竞技场基准上的性能显著更接近完整BPTT，相比以往任何在线方法，性能差距平均缩小了50%以上。
• 在序列长度长达4,000步的合成复制任务中，该方法成功学习了长程依赖关系，优于空间反向传播和近似实时循环学习方法。
• 即使在较小模型和因果训练设置下，该算法仍保持强大性能，展现出良好的鲁棒性和可扩展性。
• 在CIFAR-100实验中，将标准RNN替换为线性RNN或LRU层可进一步提升在线学习性能，证实了独立循环模块的有效性。
• 该方法在每一层内仅以两倍于单次推理的内存和计算成本，实现了精确的梯度计算，使其在在线学习中极具效率。
• 结果表明，架构的模块化设计——特别是独立循环单元——可极大简化在线信用分配，为大脑中的学习及神经形态硬件提供一种可行机制。