[论文解读] Parallelizing Linear Recurrent Neural Nets Over Sequence Length.

Éric Martin, Chris Cundy|arXiv (Cornell University)|Feb 15, 2018

Neural Networks and Applications被引用 12

一句话总结

本文提出一种并行扫描算法，使具有线性序列依赖关系的RNN能够实现序列长度上的并行训练，训练和推理速度最高提升9倍。该工作引入了GILR-LSTM，一种线性近似模型，利用并行线性递推在长达一百万时间步的序列上进行训练——此前标准RNN难以实现此目标。

ABSTRACT

Recurrent neural networks (RNNs) are widely used to model sequential data but their non-linear dependencies between sequence elements prevent parallelizing training over sequence length. We show the training of RNNs with only linear sequential dependencies can be parallelized over the sequence length using the parallel scan algorithm, leading to rapid training on long sequences even with small minibatch size. We develop a parallel linear recurrence CUDA kernel and show that it can be applied to immediately speed up training and inference of several state of the art RNN architectures by up to 9x. We abstract recent work on linear RNNs into a new framework of linear surrogate RNNs and develop a linear surrogate model for the long short-term memory unit, the GILR-LSTM, that utilizes parallel linear recurrence. We extend sequence learning to new extremely long sequence regimes that were previously out of reach by successfully training a GILR-LSTM on a synthetic sequence classification task with a one million timestep dependency.

研究动机与目标

• 解决RNN在序列长度上难以并行化训练的根本限制，原因在于非线性依赖关系。
• 实现在极长序列上RNN的高效训练与推理，此前这些任务在计算上不可行。
• 开发一种线性近似RNN的框架，保留标准RNN的表征能力的同时实现并行化。
• 通过新型GILR-LSTM架构，将序列建模的实际应用范围扩展至百万时间步序列。

提出的方法

• 将并行扫描算法应用于仅具有线性序列依赖关系的RNN，实现序列长度上的数据并行训练。
• 实现一个CUDA内核，用于并行线性递推，高效并行计算各时间步的隐藏状态。
• 将近期线性RNN研究工作抽象为线性近似RNN的一般性框架，支持线性化RNN单元的模块化设计。
• 设计GILR-LSTM，作为LSTM单元的线性近似，利用并行线性递推以保持长期依赖建模能力。
• 使用并行扫描内核加速GILR-LSTM的训练与推理，显著降低计算时间。
• 在包含一百万时间步的合成序列分类任务上训练GILR-LSTM，以验证其可扩展性。

实验结果

研究问题

• RQ1 是否能够对具有线性依赖关系的RNN训练实现序列长度上的并行化，从而加快长序列的训练速度？
• RQ2 并行扫描算法在最先进RNN架构中的训练与推理中，能够实现多大程度的加速？
• RQ3 像GILR-LSTM这样的线性近似模型是否能在保持并行化的同时，维持在长序列上的性能表现？
• RQ4 基于线性递推的方法是否可行实现对包含一百万时间步序列的RNN训练？

主要发现

• 并行扫描算法在依赖关系为线性时，可实现RNN训练在序列长度上的完全数据并行化。
• 所提出的CUDA内核在多个最先进RNN架构中，实现了最高9倍的训练与推理速度提升。
• GILR-LSTM模型在包含一百万时间步的合成序列分类任务中，成功学习了长距离依赖关系。
• 线性近似框架使得RNN能够在远超以往实际限制的序列长度上实现高效可扩展的训练。