[论文解读] Training recurrent networks online without backtracking

Yann Ollivier, Tallec, Corentin+1 more|arXiv (Cornell University)|Jul 28, 2015

Neural Networks and Applications参考文献 5被引用 26

一句话总结

该论文提出 NoBackTrack，一种用于循环神经网络的可扩展在线训练算法，通过使用全参数梯度的随机秩一近似来维持无偏、无记忆的梯度估计，从而避免通过时间反向传播。该方法与模型规模呈线性扩展，并在长序列任务中优于截断BPTT，实现了无需梯度回溯的高效实时学习。

ABSTRACT

We introduce the "NoBackTrack" algorithm to train the parameters of dynamical systems such as recurrent neural networks. This algorithm works in an online, memoryless setting, thus requiring no backpropagation through time, and is scalable, avoiding the large computational and memory cost of maintaining the full gradient of the current state with respect to the parameters. The algorithm essentially maintains, at each time, a single search direction in parameter space. The evolution of this search direction is partly stochastic and is constructed in such a way to provide, at every time, an unbiased random estimate of the gradient of the loss function with respect to the parameters. Because the gradient estimate is unbiased, on average over time the parameter is updated as it should. The resulting gradient estimate can then be fed to a lightweight Kalman-like filter to yield an improved algorithm. For recurrent neural networks, the resulting algorithms scale linearly with the number of parameters. Small-scale experiments confirm the suitability of the approach, showing that the stochastic approximation of the gradient introduced in the algorithm is not detrimental to learning. In particular, the Kalman-like version of NoBackTrack is superior to backpropagation through time (BPTT) when the time span of dependencies in the data is longer than the truncation span for BPTT.

研究动机与目标

• 为解决循环网络中通过时间反向传播（BPTT）带来的计算和内存开销，通过实现在线、无记忆训练来应对。
• 通过用全反向传播的替代品——随机无偏梯度近似，消除存储过去状态和梯度的需求。
• 开发一种可扩展的RTRL替代方法，避免维护完整的雅可比矩阵 $ G(t) = \partial h(t)/\partial \theta $，该矩阵对大型模型而言成本过高。
• 通过在参数空间中仅维护一个搜索方向，实现在动态系统中的高效在线学习。
• 将梯度估计集成到类似卡尔曼滤波的框架中以改进参数更新，且对参数重参数化保持不变。

提出的方法

• 提出全梯度 $ G(t) = \partial h(t)/\partial \theta $ 的秩一随机近似 $ \tilde{G}(t) $，其构造形式为 $ \tilde{G}(t) = \bar{v}\bar{w}^\top + \sum_i e_i w_i^\top $，其中向量通过随机采样以保持无偏性。
• 确保在每个时间步均有 $ \mathbb{E}[\tilde{G}(t)] = G(t) $，从而保证期望参数更新方向与真实梯度方向一致。
• 使用类似卡尔曼滤波的机制更新参数 $ \theta $，其中方差最小化的缩放因子 $ \rho $ 基于基于估计协方差的马氏距离推导得出。
• 采用对角线近似方法处理逆协方差矩阵 $ J_\theta^{-1} $ 和 $ J_h $，在保持重参数化不变性的同时维持计算效率。
• 通过基于 $ J_\theta^{-1} $ 和 $ J_h $ 的范数计算最优缩放因子 $ \bar{\rho} $ 和 $ \rho_i $，并利用 $ \tilde{G} J_\theta^{-1} \tilde{G}^\top $ 进行近似，以实现低秩方差最小化。
• 在分母中引入正则化，以防止缩放计算中出现数值溢出。

实验结果

研究问题

• RQ1 能否在不通过时间回溯的情况下，为循环网络构建一个无偏、无记忆的梯度估计？
• RQ2 全梯度 $ G(t) $ 的随机秩一近似是否足以维持有效在线学习的准确性？
• RQ3 类似卡尔曼滤波的框架能否被适配以使用此类近似梯度，同时保持收敛性和不变性特性？
• RQ4 当依赖关系的时间跨度超过BPTT中截断窗口时，NoBackTrack算法与截断BPTT相比性能如何？
• RQ5 该方法是否能在避免BPTT的 $ \mathcal{O}(n^2) $ 复杂度和RTRL的 $ \mathcal{O}(n m) $ 存储成本的同时，实现与模型规模的线性扩展？

主要发现

• NoBackTrack 算法提供了全梯度 $ G(t) $ 的无偏估计，确保期望参数更新方向与真实梯度方向一致。
• 该方法与参数数量呈线性扩展，使其在BPTT和RTRL计算成本过高的大型循环网络中具有可行性。
• 小规模实验表明，随机梯度近似不会损害学习性能，其收敛行为与完整BPTT相当。
• 当依赖关系的时间跨度超过BPTT中使用的截断窗口时，NoBackTrack的卡尔曼滤波版本优于截断BPTT。
• 基于估计协方差推导的马氏距离范数实现了重参数化不变的缩放，提升了梯度估计的鲁棒性和稳定性。
• 通过采用对角线近似处理逆协方差矩阵，该算法在避免完整矩阵存储和求逆的同时保持了计算效率。