[论文解读] Simplified Long Short-term Memory Recurrent Neural Networks: part II

Atra Akandeh, Fathi M. Salem|arXiv (Cornell University)|Jul 14, 2017

Neural Networks and Applications被引用 4

一句话总结

本文通过大幅减少自适应参数，提出六种简化的长短期记忆（LSTM）变体——LSTM4、LSTM5、LSTM4a、LSTM5a 和 LSTM6，采用固定或向量化门控机制。这些模型在 MNIST 测试准确率上与标准 LSTM 相当，同时将参数量最多减少 74%，每轮训练时间减少 60%。在使用 ReLU 激活函数时，其性能在高学习率下依然稳定，而标准 LSTM 则会退化。

ABSTRACT

This is part II of three-part work. Here, we present a second set of inter-related five variants of simplified Long Short-term Memory (LSTM) recurrent neural networks by further reducing adaptive parameters. Two of these models have been introduced in part I of this work. We evaluate and verify our model variants on the benchmark MNIST dataset and assert that these models are comparable to the base LSTM model while use progressively less number of parameters. Moreover, we observe that in case of using the ReLU activation, the test accuracy performance of the standard LSTM will drop after a number of epochs when learning parameter become larger. However all of the new model variants sustain their performance.

研究动机与目标

• 通过最小化自适应参数，降低标准 LSTM 模型的计算成本和训练时间。
• 在 MNIST 基准数据集上评估参数减少的 LSTM 变体的性能。
• 研究简化 LSTM 在不同学习率和激活函数下的稳定性和准确性。
• 确定简化 LSTM 是否能以显著降低的复杂度匹配标准 LSTM 的性能。
• 探讨固定门值对模型稳定性和泛化能力的影响。

提出的方法

• 通过将输入、遗忘和输出门中的完整循环权重矩阵替换为可学习向量，提出 LSTM4 和 LSTM5，实现逐点乘法。
• 通过将遗忘门固定为 0.96、输出门固定为 1.0，提出 LSTM4a 和 LSTM5a，消除这些门中的自适应参数。
• 通过将所有门设为常数值（遗忘=0.59，输入=1.0，输出=1.0），提出 LSTM6，使模型退化为基本 RNN，参数量最小化。
• 使用 Keras 库对所有变体在 MNIST 数据集上进行训练和评估，采用基于序列的逐行输入方式（28×28 图像作为 28 步序列）。
• 采用三种激活函数——tanh、sigmoid 和 ReLU，并在三个学习率值（η）上进行调优，以评估模型鲁棒性。
• 通过训练和测试准确率、参数数量以及每轮训练时间，对所有变体的模型性能进行比较。

实验结果

研究问题

• RQ1 在 MNIST 数据集上，自适应参数更少的简化 LSTM 变体能否实现与标准 LSTM 相当的测试准确率？
• RQ2 将门值固定（如遗忘门设为 0.96 或 0.59）如何影响模型的稳定性和性能？
• RQ3 激活函数的选择（tanh、sigmoid、ReLU）是否会影响简化 LSTM 的性能和收敛性？
• RQ4 不同学习率如何影响简化 LSTM 与标准 LSTM 的训练动态？
• RQ5 在标准 LSTM 退化的情况下，简化 LSTM 是否能在高学习率下保持性能？

主要发现

• 当使用 ReLU 激活函数时，标准 LSTM 在高学习率（η=2e-3）下测试准确率显著下降，而所有简化变体均保持稳定性能。
• 在 ReLU 激活函数和 η=1e-4 条件下，LSTM5 在所有简化变体中取得最高测试准确率（0.9892），接近标准 LSTM 的 0.9853。
• LSTM6 将所有门设为常数值，使用 ReLU 和 η=2e-3 时达到 96.56% 的测试准确率，表明经过适当调优，基本 RNN 也能实现有竞争力的性能。
• LSTM4a 和 LSTM5a 在不同激活函数和学习率下表现最为一致，分别在 ReLU 和 η=2e-3 条件下达到 97.92% 和 98.21% 的测试准确率。
• 参数数量从标准 LSTM 的 52,610 降低至 LSTM6 的 13,910，减少了 74%，同时每轮训练时间减少 60%。
• 所有简化变体在使用 ReLU 时，均能在高学习率下保持高性能，而标准 LSTM 在约 50 个 epoch 后出现性能退化。