[论文解读] Sentiment Analysis Using Simplified Long Short-term Memory Recurrent Neural Networks

Karthik Gopalakrishnan, Fathi M. Salem|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 9被引用 4

一句话总结

本文提出六种简化的LSTM（精简LSTM）变体，以加速在GOP辩论Twitter数据集上的情感分析训练并降低计算成本。研究发现，精简LSTM6在显著减少参数量的同时，性能与标准LSTM相当；双向LSTM层可提升整体准确率；RMSprop优化器在正负情感分类之间实现了最佳平衡。

ABSTRACT

LSTM or Long Short Term Memory Networks is a specific type of Recurrent Neural Network (RNN) that is very effective in dealing with long sequence data and learning long term dependencies. In this work, we perform sentiment analysis on a GOP Debate Twitter dataset. To speed up training and reduce the computational cost and time, six different parameter reduced slim versions of the LSTM model (slim LSTM) are proposed. We evaluate two of these models on the dataset. The performance of these two LSTM models along with the standard LSTM model is compared. The effect of Bidirectional LSTM Layers is also studied. The work also consists of a study to choose the best architecture, apart from establishing the best set of hyper parameters for different LSTM Models.

研究动机与目标

• 降低使用LSTM网络进行情感分析时的计算成本和训练时间。
• 评估六种简化LSTM架构（精简LSTM）在GOP辩论Twitter数据集上的性能。
• 确定情感分类的最佳模型架构、超参数和训练配置。
• 评估双向LSTM层和不同优化器对模型性能的影响。
• 确定改善泛化能力的最佳批量大小和训练-验证划分比例。

提出的方法

• 提出六种参数减少的标准化LSTM网络变体，称为“精简LSTM”，以最小化参数量并加速训练。
• 采用标准LSTM方程，包含输入门、遗忘门和输出门：𝑖𝑡=𝜎(𝑈𝑖ℎ𝑡−1+𝑊𝑖𝑥𝑡+𝑏𝑖), 𝑓𝑡=𝜎(𝑈𝑓ℎ𝑡−1+𝑊𝑓𝑥𝑡+𝑏𝑓), 𝑜𝑡=𝜎(𝑈𝑜ℎ𝑡−1+𝑊𝑜𝑥𝑡+𝑏𝑜)，其中细胞状态更新为𝑐𝑡=𝑖𝑡∗𝑐𝑡−1 + tanh(𝑈𝑐ℎ𝑡−1+W𝑐𝑥𝑡+𝑏𝑐)，隐藏状态为ℎ𝑡=𝑜𝑡∗tanh(𝑐𝑡)。
• 集成双向LSTM层以捕捉序列数据中的过去和未来上下文，提升长期依赖建模能力。
• 使用RMSprop和Adam优化器训练模型，学习率分别调优至3e-4或0.001以实现最佳收敛。
• 在不同批量大小（16、32、64、128）和训练-验证划分比例（0.33、0.4）下测试模型性能，以识别最优配置。
• 应用Dropout层以缓解过拟合，但发现小规模训练集下性能更优，表明精简模型的过拟合风险较低。

实验结果

研究问题

• RQ1 哪种精简LSTM变体在性能与计算效率之间实现了最佳平衡？
• RQ2 引入双向LSTM层如何影响情感分类的准确率？
• RQ3 在该Twitter数据集上，情感分析的最佳批量大小和训练-验证划分比例是什么？
• RQ4 RMSprop与Adam优化器中，哪种能实现正负情感分类的最佳平衡表现？
• RQ5 通过精简减少模型参数是否能在不牺牲准确率的前提下提升训练速度？

主要发现

• 精简LSTM6模型实现了83%的整体准确率，性能与标准LSTM（82%）相当，但计算成本显著降低。
• RMSprop优化器在正负情感分类平衡方面优于Adam，分别实现71%的正向准确率和81%的负向准确率，而Adam分别为67%和83%。
• 最优批量大小为16，因其在每轮训练中实现最高整体准确率并支持更多训练迭代。
• 训练-验证划分比例为0.4（60%训练，40%验证）时性能优于0.33，与“更多训练数据总是提升结果”的普遍假设相反。
• 在LSTM模块后添加全连接层会增加参数量和训练时间，但未提升性能，表明此类层不推荐使用。
• 双向LSTM层通过提供来自序列前后两段的上下文信息，提升了整体系统性能。