[论文解读] Unbiased Online Recurrent Optimization

Corentin Tallec, Yann Ollivier|arXiv (Cornell University)|Feb 16, 2017

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出了无偏在线循环优化（UORO），一种无记忆的在线学习算法，用于循环神经网络，通过避免回溯过去激活值，提供可证明无偏的梯度估计。与存在梯度偏差且在具有冲突的短期和长期依赖任务中可能发散的截断BPTT不同，UORO即使在这些情况下也能确保收敛，在合成任务如 $a^n b^n$ 和远距离括号上实现接近最优的性能，且计算开销极低。

ABSTRACT

The novel Unbiased Online Recurrent Optimization (UORO) algorithm allows for online learning of general recurrent computational graphs such as recurrent network models. It works in a streaming fashion and avoids backtracking through past activations and inputs. UORO is computationally as costly as Truncated Backpropagation Through Time (truncated BPTT), a widespread algorithm for online learning of recurrent networks. UORO is a modification of NoBackTrack that bypasses the need for model sparsity and makes implementation easy in current deep learning frameworks, even for complex models. Like NoBackTrack, UORO provides unbiased gradient estimates; unbiasedness is the core hypothesis in stochastic gradient descent theory, without which convergence to a local optimum is not guaranteed. On the contrary, truncated BPTT does not provide this property, leading to possible divergence. On synthetic tasks where truncated BPTT is shown to diverge, UORO converges. For instance, when a parameter has a positive short-term but negative long-term influence, truncated BPTT diverges unless the truncation span is very significantly longer than the intrinsic temporal range of the interactions, while UORO performs well thanks to the unbiasedness of its gradients.

研究动机与目标

• 解决由于截断反向传播导致的梯度估计偏差，从而在在线循环学习中缺乏收敛保证的问题。
• 开发一种可扩展、兼容黑箱的算法，使复杂循环模型能够无需存储过去激活值即可进行在线训练。
• 以流式方式实现无偏梯度估计，同时保持随机梯度下降的理论收敛保证。
• 证明无偏梯度能够使模型在截断BPTT失效或发散的情况下实现可靠学习。

提出的方法

• UORO通过一种注入噪声的无偏采样机制计算梯度估计，避免回溯过去的时间步。
• 它利用NoBackTrack（NBT）的变体以确保梯度无偏，但重新设计了方法，使其适用于深度学习框架中的黑箱实现。
• 该算法按顺序逐个样本处理数据，仅在当前前向传播中保留对过去输入或隐藏状态的记忆，不存储历史信息。
• 通过从未来轨迹的概率分布中采样，采用一种保持无偏性的随机近似方法进行梯度估计。
• 该方法计算效率高，成本与截断BPTT相当，适用于实时和流式应用。
• 它支持任意循环架构，包括GRUs和LSTMs，无需对网络结构进行修改。

实验结果

研究问题

• RQ1 是否存在一种在线循环学习算法，能够在不依赖模型稀疏性或复杂实现的前提下，实现无偏梯度估计？
• RQ2 无偏梯度估计是否能在短期和长期依赖冲突的任务中实现可靠的收敛？
• RQ3 在截断BPTT发散或收敛到次优局部极小值的情况下，UORO是否能优于截断BPTT？
• RQ4 该算法是否具备可扩展性，并能无需架构修改即可轻松集成到现有深度学习框架中？

主要发现

• 在 $a^n b^n(1,32)$ 数据集上，UORO使用LSTM时测试损失为0.147比特/字符，使用GRU时为0.155，接近真实熵率0.14 bpc。
• 在远距离括号任务（s=1, k=5, a=10）中，UORO在长期表现上优于4步截断BPTT，达到接近最优的行为，而截断BPTT则停滞不前或学习缓慢。
• 使用16步截断的BPTT，LSTM的损失为0.144 bpc，GRU为0.207 bpc，但由于梯度偏差，GRU上无法可靠收敛。
• UORO在所有设置下均一致收敛，即使其范围超过内在时间范围，表明仅靠无偏估计就足以实现收敛。
• 该算法对学习率调度具有鲁棒性，递减学习率可实现收敛，而截断BPTT在类似设置下通常发散。