[论文解读] Recurrent Neural Networks (RNNs): A gentle Introduction and Overview

Robin M. Schmidt|arXiv (Cornell University)|Nov 23, 2019

Topic Modeling参考文献 16被引用 150

一句话总结

对 RNN 基础与发展的一份简明综述，涵盖 BPTT、LSTMs、DRNNs、BRNNs、seq2seq、Attention、Transformer 和 Pointer Networks。

ABSTRACT

State-of-the-art solutions in the areas of "Language Modelling & Generating Text", "Speech Recognition", "Generating Image Descriptions" or "Video Tagging" have been using Recurrent Neural Networks as the foundation for their approaches. Understanding the underlying concepts is therefore of tremendous importance if we want to keep up with recent or upcoming publications in those areas. In this work we give a short overview over some of the most important concepts in the realm of Recurrent Neural Networks which enables readers to easily understand the fundamentals such as but not limited to "Backpropagation through Time" or "Long Short-Term Memory Units" as well as some of the more recent advances like the "Attention Mechanism" or "Pointer Networks". We also give recommendations for further reading regarding more complex topics where it is necessary.

研究动机与目标

• 介绍循环神经网络（RNN）的基础及其在序列数据任务中的应用。
• 解释通过 Backpropagation Through Time (BPTT) 及其截断变体进行训练。
• 讨论关键 RNN 架构（LSTMs、DRNNs、BRNNs）以及高级模型（Encoder-Decoder、seq2seq、Attention、Transformer、Pointer Networks）。
• 通过对基础论文的引用，提供阅读与后续主题的指导。

提出的方法

• 给出 RNN 隐含状态和输出的数学表示法。
• 推导 Backpropagation Through Time (BPTT) 方程并强调截断以减轻长期依赖。
• 描述 LSTM 的门控计算与记忆单元更新。
• 解释双向 RNN 及前向/后向状态如何结合以输出。
• 介绍 Encoder-Decoder（seq2seq）结构及带注意力机制的改进。
• 概述 Transformer 架构及多头自注意力的作用。
• 介绍 Pointer Networks 作为 seq2seq 的一个特例，其输出指针指向输入元素。

实验结果

研究问题

• RQ1 基本的 RNN 的核心计算步骤与训练过程是什么，与前馈网络有何不同？
• RQ2 LSTMs 与相关的门控架构如何解决长序列中的梯度消失/爆炸问题？
• RQ3 编码器-解码器架构、注意力机制和 Transformer 模型在序列到序列任务中扮演怎样的角色？
• RQ4 Pointer Networks 如何在 seq2seq 的基础上扩展，使输出指针指向输入元素而不是固定词汇输出？

主要发现

• BPTT 将 RNN 展开为一个前馈样式结构，使跨时间步的梯度训练成为可能。
• 截断的 BPTT 为反向传播通过时间提供一个实际的上界，以减少计算量并稳定训练。
• LSTMs 引入门控和记忆单元，以缓解梯度消失问题并实现对长序列的学习。
• 双向 RNN 通过在两个方向上处理序列并连接隐藏状态来包含未来上下文。
• 编码器-解码器（seq2seq）模型实现从输入序列到输出序列的映射，注意力机制提升对齐与性能。
• Transformer 模型以自注意力取代递归并实现并行化，使用多头注意力与位置编码；Pointer Networks 通过输出指向输入元素来扩展 seq2seq。