[论文解读] SLIM LSTMs

Fathi M. Salem|arXiv (Cornell University)|Dec 29, 2018

Neural Networks and Applications参考文献 4被引用 6

一句话总结

本文提出了SLIM LSTMs，这是一种高度参数化高效的LSTM变体家族，通过激进地剪枝冗余组件（如共享权重矩阵和偏置向量）来降低模型复杂度，同时保持与标准LSTMs相当的验证准确率。该方法通过结构简化实现了显著的计算节省和训练加速，而无需牺牲性能。

ABSTRACT

Long Short-Term Memory (LSTM) Recurrent Neural networks (RNNs) rely on gating signals, each driven by a function of a weighted sum of at least 3 components: (i) one of an adaptive weight matrix multiplied by the incoming external input vector sequence, (ii) one adaptive weight matrix multiplied by the previous memory/state vector, and (iii) one adaptive bias vector. In effect, they augment the simple Recurrent Neural Networks (sRNNs) structure with the addition of a memory cell and the incorporation of at most 3 gating signals. The standard LSTM structure and components encompass redundancy and overly increased parameterization. In this paper, we systemically introduce variants of the LSTM RNNs, referred to as SLIM LSTMs. These variants express aggressively reduced parameterizations to achieve computational saving and/or speedup in (training) performance---while necessarily retaining (validation accuracy) performance comparable to the standard LSTM RNN.

研究动机与目标

• 解决标准长短期记忆（LSTM）网络中过度参数化和冗余的问题。
• 在不降低模型性能的前提下，降低计算成本并加速训练。
• 系统性地探索保留LSTM核心功能的最小架构配置。
• 开发一系列轻量级LSTM变体——SLIM LSTMs，实现激进的参数压缩。

提出的方法

• 从标准LSTM中移除冗余组件，包括共享权重矩阵和偏置向量，以减少参数数量。
• 通过消除冗余的加权求和操作，重构门控机制，仅保留必要的输入、隐藏状态和偏置分量。
• 重新配置架构，使用更少的自适应参数，同时保留序列建模所必需的内存单元和门控逻辑。
• 该方法致力于最小化每单位门的可学习参数数量，尽可能采用稀疏性和共享计算。
• 最终生成的SLIM LSTM变体采用标准反向传播进行训练，对原始LSTM框架的架构改动极小。

实验结果

研究问题

• RQ1 LSTM模型能否在不损害验证准确率的前提下实现显著简化？
• RQ2 在序列建模任务中，保留LSTM性能所需的最小组件集合是什么？
• RQ3 在性能开始下降之前，参数压缩能达到多大程度？
• RQ4 通过架构剪枝，训练速度和推理效率最多能提升多少？

主要发现

• SLIM LSTMs在保持与标准LSTMs相当的验证准确率的同时，实现了显著的参数压缩。
• 所提出的变体由于计算复杂度降低，表现出更快的训练速度。
• 该方法成功消除了冗余的权重矩阵和偏置向量，且未对模型性能造成负面影响。
• 尽管参数数量减少，简化后的架构仍保持了标准LSTMs的核心序列学习能力。