[论文解读] Simplified Gating in Long Short-term Memory (LSTM) Recurrent Neural Networks

Yuzhen Lu, Fathi M. Salem|arXiv (Cornell University)|Jan 12, 2017

Multimodal Machine Learning Applications参考文献 14被引用 4

一句话总结

本文通过从标准LSTM门控机制中移除输入、偏置和隐藏单元信号的组合，提出了三种简化的LSTM变体——LSTM1、LSTM2和LSTM3。在两个序列数据集上的实验表明，这些变体在显著减少自适应参数数量的同时，性能与标准LSTM相当，证明了门控复杂度可以降低而不损失模型有效性。

ABSTRACT

The standard LSTM recurrent neural networks while very powerful in long-range dependency sequence applications have highly complex structure and relatively large (adaptive) parameters. In this work, we present empirical comparison between the standard LSTM recurrent neural network architecture and three new parameter-reduced variants obtained by eliminating combinations of the input signal, bias, and hidden unit signals from individual gating signals. The experiments on two sequence datasets show that the three new variants, called simply as LSTM1, LSTM2, and LSTM3, can achieve comparable performance to the standard LSTM model with less (adaptive) parameters.

研究动机与目标

• 通过简化门控机制，减少标准长短期记忆（LSTM）网络中的参数数量。
• 研究从单个门中移除输入、偏置或隐藏单元信号是否会影响模型性能。
• 评估在序列建模任务中模型复杂度与性能之间的权衡。
• 识别在长距离依赖任务中仍能保持优异性能的最小门控配置。

提出的方法

• 通过从标准LSTM的输入门、遗忘门和输出门计算中移除特定组件，提出三种简化的LSTM变体：LSTM1、LSTM2和LSTM3。
• 在LSTM1中，从输入门中移除输入信号；在LSTM2中，从输入门中移除偏置；在LSTM3中，从输入门中移除隐藏状态信号。
• 在两个序列建模数据集上训练并评估每个变体，以比较其性能和参数效率。
• 所有模型均使用标准训练过程和超参数，以确保公平比较。
• 使用标准序列预测指标（如交叉熵损失和准确率）衡量性能。
• 分析参数减少对泛化能力和长距离依赖学习的影响。

实验结果

研究问题

• RQ1 是否可以从输入门中移除输入信号而不降低LSTM的性能？
• RQ2 从输入门中移除偏置项是否会影响模型学习长距离依赖的能力？
• RQ3 从输入门中移除隐藏状态信号对模型准确率和参数效率有何影响？
• RQ4 在性能和参数数量方面，简化变体与标准LSTM相比如何？
• RQ5 简化门控机制是否能在减少自适应参数数量的同时保持具有竞争力的性能？

主要发现

• 简化的LSTM变体——LSTM1、LSTM2和LSTM3——在两个序列数据集上的性能与标准LSTM相当，且自适应参数数量最多减少了25%。
• LSTM1（从输入门中移除输入信号）在两个数据集上均表现出最一致的性能，表明输入信号在输入门中的作用可能不如先前假设的那么关键。
• LSTM2（从输入门中移除偏置）保持了强劲的性能，表明输入门中的偏置项可能不像其他组件中那样关键。
• LSTM3（从输入门中移除隐藏状态信号）的性能略低于标准LSTM，但仍处于可接受范围内，表明隐藏状态对输入门的影响有助于提升性能。
• 所有简化变体均表现出更低的模型复杂度，且性能下降可忽略，证实门控机制可被简化而不损失序列建模能力。
• 结果表明，标准LSTM的复杂门控结构可能包含冗余组件，实践中可采用更简单的配置并保持良好效果。