[论文解读] Slim Embedding Layers for Recurrent Neural Language Models

Zhongliang Li, Raymond Kulhanek+3 more|arXiv (Cornell University)|Nov 27, 2017

Topic Modeling参考文献 15被引用 18

一句话总结

本文提出了一种简单且可训练的参数共享方法，通过随机共享结构化子向量，对循环神经网络语言模型的输入和输出嵌入层进行压缩，模型大小最多减少90%，同时保持相近的困惑度和BLEU分数。该方法可在不显著损失性能的前提下实现紧凑高效的模型。

ABSTRACT

Recurrent neural language models are the state-of-the-art models for language modeling. When the vocabulary size is large, the space taken to store the model parameters becomes the bottleneck for the use of recurrent neural language models. In this paper, we introduce a simple space compression method that randomly shares the structured parameters at both the input and output embedding layers of the recurrent neural language models to significantly reduce the size of model parameters, but still compactly represent the original input and output embedding layers. The method is easy to implement and tune. Experiments on several data sets show that the new method can get similar perplexity and BLEU score results while only using a very tiny fraction of parameters.

研究动机与目标

• 解决循环神经网络语言模型中大词汇量带来的高内存开销问题。
• 在不牺牲性能的前提下，减少输入和输出嵌入层的模型参数量。
• 开发一种简单、可训练的压缩技术，易于实现和调优。
• 探究嵌入层中随机参数共享是否起到正则化作用，提升泛化能力。
• 实现在内存受限设备和分布式系统中部署紧凑语言模型。

提出的方法

• 该方法对输入和输出嵌入层中的词语，采用随机且固定的子向量分配方式。
• 每个词语的嵌入通过连接多个共享子向量构成，从而减少可学习参数的总数。
• 子向量分配在训练开始时随机初始化并固定不变，而子向量权重则通过端到端方式学习。
• 该方法独立应用于输入和输出嵌入层，实现显著的压缩效果。
• 该方法利用动态规划高效计算推理过程中的点积，提升计算效率。
• 该技术与现有训练目标兼容，可与噪声对比估计（NCE）联合使用进行训练。

实验结果

研究问题

• RQ1 在嵌入层中采用随机、结构化的参数共享是否能显著减少模型大小，同时保持性能损失最小？
• RQ2 所提出的压缩方法在困惑度和BLEU分数方面是否与完整模型保持竞争力？
• RQ3 该方法是否可作为正则化手段，提升低资源或易过拟合场景下的泛化能力？
• RQ4 在CPU和GPU工作负载下，压缩模型的计算效率与基线模型和HashNet相比如何？
• RQ5 该方法能否有效应用于机器翻译重排序等实际任务？

主要发现

• 在Penn Treebank数据集上，该方法将模型参数量最多减少了90%，同时困惑度仅比完整模型低1-2个点。
• 在WMT12翻译任务中，压缩模型的BLEU得分为26.25，仅略低于完整模型的26.11，表现出强大的可迁移性。
• SE模型在CPU上的推理时间为0.7秒，在GPU上为25毫秒，优于HashNet（CPU 80.6秒），并接近未压缩模型（CPU 2.7秒）。
• 由于模型结构紧凑，推理过程中内存占用显著降低，使其适用于内存受限设备。
• 在某些场景下，该方法表现出更好的泛化能力，表明其具有正则化效果。
• 即使将输入和输出层分别压缩至原始大小的1/8和1/4，性能损失也极小，证明了方法的有效性。