[论文解读] Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks

Nan Rosemary Ke, Anirudh Goyal+5 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Graph Neural Networks参考文献 24被引用 8

一句话总结

本文提出了一种名为稀疏注意回溯（Sparse Attentive Backtracking, SAB）的生物启发式训练算法，用于循环神经网络。该算法通过注意力加权选择性地在时间上相距较远的隐藏状态中反向传播梯度，从而在无需完整的时间反向传播（BPTT）的情况下实现有效的长程信用分配。SAB 在序列建模任务上的性能与完整 BPTT 相当，同时保持了类似截断 BPTT 的计算效率。

ABSTRACT

A major drawback of backpropagation through time (BPTT) is the difficulty of learning long-term dependencies, coming from having to propagate credit information backwards through every single step of the forward computation. This makes BPTT both computationally impractical and biologically implausible. For this reason, full backpropagation through time is rarely used on long sequences, and truncated backpropagation through time is used as a heuristic. However, this usually leads to biased estimates of the gradient in which longer term dependencies are ignored. Addressing this issue, we propose an alternative algorithm, Sparse Attentive Backtracking, which might also be related to principles used by brains to learn long-term dependencies. Sparse Attentive Backtracking learns an attention mechanism over the hidden states of the past and selectively backpropagates through paths with high attention weights. This allows the model to learn long term dependencies while only backtracking for a small number of time steps, not just from the recent past but also from attended relevant past states.

研究动机与目标

• 解决由于梯度消失和计算不可行性导致的反向传播通过时间（BPTT）在学习长期依赖关系方面的局限性。
• 克服截断 BPTT 所引入的偏差，后者通过将反向传播限制在最近的时间步而忽略了长期依赖关系。
• 开发一种生物上合理且计算高效的全 BPTT 替代方案，使训练过程中能够频繁更新参数。
• 通过动态选择相关过去状态以实现梯度流动，使循环网络能够从很久以前发生的事件中学习。

提出的方法

• 提出一种半参数化 RNN 架构，包含固定大小的隐藏状态、随时间增长的过去微状态集合，以及对这些微状态的注意力机制。
• 使用可微分注意力机制计算当前隐藏状态与所有过去微状态之间的相关性得分，仅选择最显著的微状态用于反向传播。
• 仅对选定的微状态及其相邻时间邻域执行局部反向传播，从而降低计算成本。
• 采用稀疏注意力机制，实现动态的、长程的时间跳跃连接，使远距离事件之间的信用分配成为可能。
• 使用标准优化方法进行模型训练，仅在注意力选中的微状态周围的小窗口内进行截断反向传播，从而实现频繁的权重更新。
• 采用分层注意力机制以降低长序列下的内存和计算成本，未来可通过近似最近邻搜索进一步优化。

实验结果

研究问题

• RQ1 循环网络是否能在不等待序列结束的情况下学习长期依赖关系，同时保持计算效率？
• RQ2 基于注意力的选择性过去状态是否能相比截断 BPTT 改善远距离事件的梯度流动？
• RQ3 是否可能实现一种既具有生物合理性又计算实用的训练算法，其性能可达到 BPTT 水平？
• RQ4 SAB 在长序列建模任务上与完整 BPTT 和截断 BPTT 相比性能如何？

主要发现

• 在 Text8 语言建模任务中，SAB 达到了 1.53 的测试每字符位数（BPC），与完整 BPTT（1.51）非常接近，显著优于截断 BPTT（1.60）。
• 在顺序 MNIST 分类任务中，SAB 在最优超参数设置下达到了 91.1% 的测试准确率，与完整 BPTT（90.3%）相当，并超越了截断 BPTT。
• SAB 在多个任务上表现出稳健性能，表明通过注意力选择的状态进行选择性反向传播，可实现有效的长程信用分配。
• 即使在有限的超参数调优下，模型仍保持高性能，表明其在实际应用中具有稳定性与实用性。
• 结果表明，SAB 能够在不承担完整 BPTT 计算负担或截断 BPTT 偏差的情况下，有效学习长期依赖关系。