[论文解读] Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding

Nan Rosemary Ke, Anirudh Goyal+5 more|arXiv (Cornell University)|Sep 11, 2018

Multimodal Machine Learning Applications参考文献 28被引用 34

一句话总结

该论文提出了一种新型的信用分配机制——稀疏注意回溯（SAB），用于循环神经网络。SAB利用注意力机制，选择性地通过稀疏且显著的过去状态反向传播梯度，而非所有时间步。SAB在长序列上的性能与完整的通过时间反向传播（BPTT）相当，同时避免了完整展开带来的计算负担，在长期依赖任务上优于截断BPTT和LSTMs。

ABSTRACT

Learning long-term dependencies in extended temporal sequences requires credit assignment to events far back in the past. The most common method for training recurrent neural networks, back-propagation through time (BPTT), requires credit information to be propagated backwards through every single step of the forward computation, potentially over thousands or millions of time steps. This becomes computationally expensive or even infeasible when used with long sequences. Importantly, biological brains are unlikely to perform such detailed reverse replay over very long sequences of internal states (consider days, months, or years.) However, humans are often reminded of past memories or mental states which are associated with the current mental state. We consider the hypothesis that such memory associations between past and present could be used for credit assignment through arbitrarily long sequences, propagating the credit assigned to the current state to the associated past state. Based on this principle, we study a novel algorithm which only back-propagates through a few of these temporal skip connections, realized by a learned attention mechanism that associates current states with relevant past states. We demonstrate in experiments that our method matches or outperforms regular BPTT and truncated BPTT in tasks involving particularly long-term dependencies, but without requiring the biologically implausible backward replay through the whole history of states. Additionally, we demonstrate that the proposed method transfers to longer sequences significantly better than LSTMs trained with BPTT and LSTMs trained with full self-attention.

研究动机与目标

• 为解决在长序列中通过时间反向传播（BPTT）计算不可行的问题，尤其是在需要展开数百万个时间步时。
• 探索一种生物上合理的BPTT替代方案，通过联想回忆机制建模信用分配，即当前状态触发对相关过去状态的检索。
• 开发一种方法，实现在不需完整回放所有中间状态的情况下，有效学习长期依赖关系。
• 与标准RNN和自注意力模型相比，提升在长序列上的泛化能力和迁移性能。

提出的方法

• 提出一种稀疏的、基于注意力的机制，学习将当前隐藏状态与相关过去状态关联，形成时间跳跃连接。
• 仅通过这些学习到的注意力路径反向传播梯度，而非整个序列，从而降低计算成本。
• 使用可微分的注意力机制计算当前状态与过去隐藏状态之间的相关性得分，并选择Top-k状态用于反向传播。
• 采用混合训练策略：对短期依赖关系使用标准BPTT，对长期信用分配则通过选择性回溯使用SAB。
• 将该方法应用于RNN和Transformer模型，在序列建模、记忆任务和图像分类任务上进行性能评估。
• 采用温度控制的软注意力机制，以实现通过过去状态选择的梯度流动。

实验结果

研究问题

• RQ1 一种受生物启发的回忆机制能否有效替代BPTT，用于长期信用分配？
• RQ2 稀疏注意力驱动的回溯能否在降低计算成本的同时，实现与完整BPTT相当的性能？
• RQ3 在长序列上，SAB与截断BPTT和LSTMs相比，在学习长期依赖关系方面表现如何？
• RQ4 SAB是否在泛化到更长序列时优于标准RNN或自注意力模型？
• RQ5 注意力机制能否学会识别对当前决策具有因果相关性的显著远期状态？

主要发现

• 在pMNIST任务中，SAB使用 $k_{\textrm{trunc}}=20$ 和 $k_{\textrm{top}}=10$ 时达到90.9%的测试准确率，优于使用完整BPTT的LSTM（90.3%），并在CIFAR10上达到与完整BPTT相当的性能。
• 在200步复制任务中，SAB达到95%的准确率，显著优于使用BPTT的LSTM（52%）和使用自注意力的LSTM（34%）。
• 在Text8语言建模数据集上，SAB使用 $k_{\textrm{trunc}}=10$ 和 $k_{\textrm{top}}=5$ 时，优于使用完整BPTT训练的LSTM。
• SAB展现出强大的迁移学习性能：在5000步复制任务中，准确率达到41%，而使用BPTT的LSTM仅为12%，使用自注意力的LSTM则因显存溢出（OOM）无法训练。
• 在200步复制任务中，SAB的注意力机制迅速学会聚焦于最初的10个输入符号，表明其具备有效的长距离记忆检索能力。
• 在CIFAR10上，SAB优于Transformer模型（64.5% vs. 62.2%），表明其在某些序列任务中具有更强的归纳偏置优势。