[论文解读] Reviving and Improving Recurrent Back-Propagation

Renjie Liao, Yuwen Xiong+6 more|arXiv (Cornell University)|Mar 16, 2018

Advanced Graph Neural Networks被引用 30

一句话总结

本文通过引入可微、稳定且高效的传统时间反向传播（BPTT）替代方法——Neumann-RBP，复兴并改进了循环反向传播（RBP）。该方法利用Neumann级数近似梯度，通过迭代矩阵-向量乘积实现，收敛性与BPTT相当，同时避免了标准RBP的不稳定性。在连续霍普菲尔德网络和引文网络上的实验验证表明，其性能达到最先进水平。

ABSTRACT

In this paper, we revisit the recurrent back-propagation (RBP) algorithm, discuss the conditions under which it applies as well as how to satisfy them in deep neural networks. We show that RBP can be unstable and propose two variants based on conjugate gradient on the normal equations (CG-RBP) and Neumann series (Neumann-RBP). We further investigate the relationship between Neumann-RBP and back propagation through time (BPTT) and its truncated version (TBPTT). Our Neumann-RBP has the same time complexity as TBPTT but only requires constant memory, whereas TBPTT's memory cost scales linearly with the number of truncation steps. We examine all RBP variants along with BPTT and TBPTT in three different application domains: associative memory with continuous Hopfield networks, document classification in citation networks using graph neural networks and hyperparameter optimization for fully connected networks. All experiments demonstrate that RBPs, especially the Neumann-RBP variant, are efficient and effective for optimizing convergent recurrent neural networks. Code is released at: \url{https://github.com/lrjconan/RBP}.

研究动机与目标

• 解决标准循环反向传播（RBP）在训练循环神经网络时存在的不稳定性与收敛性问题。
• 开发一种可微、稳定且高效的BPTT替代方法，避免完整时间反向传播带来的计算负担。
• 通过隐函数定理与Neumann级数收敛性，形式化推导RBP与Neumann-RBP在何种理论条件下等价于BPTT。
• 在联想记忆任务与引文网络分类任务中，通过实证验证所提出的Neumann-RBP方法，证明其在稳定性与准确性方面表现更优。

提出的方法

• 提出Neumann-RBP作为RBP的可微近似方法，利用逆雅可比矩阵的Neumann级数展开，实现稳定梯度计算。
• 推导出在Neumann级数 ∑t=0∞JF,h∗t 收敛的条件下，Neumann-RBP与BPTT的等价性。
• 引入两种优化策略：通过正则化使 (I−JF,h∗)⊤(I−JF,h∗) 的最小特征值下界最大化，以及直接对Lanczos算法进行反向传播以计算最小特征值。
• 采用基于PyTorch的轻量级Neumann-RBP实现，利用自动微分，代码量少于10行。
• 将Neumann级数截断至K步，以近似K步TBPTT，实现高效训练，显著降低内存与计算开销。
• 在连续霍普菲尔德网络与引文网络上验证该方法，使用带动量的SGD进行训练，与BPTT、TBPTT、RBP、CG-RBP和ARTBP进行对比。

实验结果

研究问题

• RQ1 在具有稳态动力学的循环网络中，Neumann-RBP在何种条件下与BPTT等价？
• RQ2 如何通过确保 (I−JF,h∗)⊤(I−JF,h∗) 的最小特征值远离零来提升RBP的稳定性？
• RQ3 Neumann-RBP能否在避免完整时间反向传播计算成本的前提下，实现与BPTT相当的性能？
• RQ4 在真实世界序列建模任务中，Neumann-RBP与CG-RBP、ARTBP等现有RBP变体相比，在收敛性与准确性方面表现如何？
• RQ5 截断长度对Neumann-RBP在长序列学习中的性能有何影响？

主要发现

• 在30步截断条件下，Neumann-RBP在连续霍普菲尔德网络任务中实现100%成功率，而标准RBP直到30步才成功，表明其具有显著更高的稳定性。
• 在Cora引文网络上，Neumann-RBP测试准确率达到46.63±8.3%，优于BPTT（24.48±6.6%）与RBP（29.25±3.3%），且与TBPTT（46.55±6.4%）性能相当，同时稳定性更优。
• Neumann-RBP在Cora与Pubmed数据集上均达到TBPTT水平的性能，分别取得46.63±8.3%与42.22±7.1%的准确率，优于ARTBP变体。
• 当JF,h∗的谱半径小于1时，Neumann级数可成功恢复完整梯度，确保理论等价于BPTT。
• 该实现高度高效，仅需少于10行PyTorch代码，支持无需反向传播整个序列的可微、稳定训练。
• 即使在不稳定或受损的初始化条件下，Neumann-RBP在100次随机扰动实验中仍保持高性能，验证了其鲁棒性。