[论文解读] The unreasonable effectiveness of the forget gate

Jos van der Westhuizen, Joan Lasenby|arXiv (Cornell University)|Apr 13, 2018

Low-power high-performance VLSI design参考文献 39被引用 71

一句话总结

JANET，是一个仅含遗忘门的 LSTM 变体，带有时序初始化，在 MNIST、置换 MNIST 和 MIT-BIH 数据集上的性能达到或超越标准 LSTM，同时提供计算方面的节省。

ABSTRACT

Given the success of the gated recurrent unit, a natural question is whether all the gates of the long short-term memory (LSTM) network are necessary. Previous research has shown that the forget gate is one of the most important gates in the LSTM. Here we show that a forget-gate-only version of the LSTM with chrono-initialized biases, not only provides computational savings but outperforms the standard LSTM on multiple benchmark datasets and competes with some of the best contemporary models. Our proposed network, the JANET, achieves accuracies of 99% and 92.5% on the MNIST and pMNIST datasets, outperforming the standard LSTM which yields accuracies of 98.5% and 91%.

研究动机与目标

• 通过评估仅含遗忘门的结构，研究是否所有 LSTM 门都必要。
• 在基准数据集上评估 JANET 相较于标准 LSTM 和其他 RNN 变体的性能。
• 解释 chrono 初始化在训练稳定性和记忆保持中的作用。
• 量化 JANET 相对于 LSTM 在理论上的计算和内存节省。

提出的方法

• 通过移除 LSTM 的输入门和输出门并耦合输入/遗忘调制（f_t 与 c_t 更新）来推导 JANET。
• 去除 h_t 上的 tanh，以避免不必要的梯度衰减，并应用可选的基于 beta 的偏移来突出信息积累。
• 对遗忘门和输入门应用 chrono 初始化，以根据 T_max 控制遗忘时间常数。
• 提供对 JANET 与 LSTM 的理论梯度分析，以解释训练难易程度和梯度流。
• 计算大致的硬件节省：参数计数、内存占用和前向计算，假设与 LSTM 相当的准确度。

实验结果

研究问题

• RQ1 一种仅包含遗忘门的架构（JANET）是否能够在多种任务中达到或超过标准 LSTM 的性能？
• RQ2 chrono 初始化方案是否提升 JANET/LSTM 变体的训练稳定性和记忆保持？
• RQ3 在前向传播中用 JANET 替换 LSTM 时，实际的计算和内存节省有哪些？
• RQ4 在标准基准上，JANET 与 LSTM 在梯度传播和优化难度方面的表现如何？

主要发现

• JANET 在 MNIST 上达到 99.0%，在 pMNIST 上达到 92.5%，在 MIT-BIH 上达到 89.4%，优于标准 LSTM，后者分别达到 98.5%、91.0% 和 87.4%。
• 将门减少为一个遗忘门并进行耦合、移除 h_t 非线性，能够在各数据集上实现具有竞争力甚至优越的准确性。
• JANET 架构在时间上实现了类似跳跃的连接，有助于比 LSTM 更易于训练且更快。
• JANET 的参数量大约是 LSTM 的一半，且前向传播计算量估计约为 LSTM 的 5/6，暗示硬件效率提升。
• 对遗忘门（以及相反方向的门偏置）进行 Chrono 初始化，可以缓解记忆保持问题并帮助在更长的序列上训练（如 MNIST 子序列）。
• 在较大层规模并且在 chrono 初始化下，JANET 缓和或缩小了与顶尖模型如 WaveNet 在 pMNIST 上的性能差距。