[论文解读] Regularization and nonlinearities for neural language models: when are they needed?

Marius Pachitariu, Maneesh Sahani|arXiv (Cornell University)|Jan 23, 2013

Topic Modeling参考文献 15被引用 32

一句话总结

本文提出脉冲响应语言模型（IRLM），一种简化版线性RNN变体，其循环连接矩阵中仅包含对角线连接，通过随机丢弃和列归一化等正则化技术，在Penn Treebank数据集上实现了SOTA性能（困惑度102.5）。尽管参数容量较低，IRLM在长序列理解任务中仍优于非线性RNN，因其能学习到可访问的长上下文单元（LCUs），在MRSC基准上达到60.8%的准确率，超越先前模型，表明通过架构简化与针对性正则化，可同时提升模型可解释性与长距离依赖捕捉能力。

ABSTRACT

Neural language models (LMs) based on recurrent neural networks (RNN) are some of the most successful word and character-level LMs. Why do they work so well, in particular better than linear neural LMs? Possible explanations are that RNNs have an implicitly better regularization or that RNNs have a higher capacity for storing patterns due to their nonlinearities or both. Here we argue for the first explanation in the limit of little training data and the second explanation for large amounts of text data. We show state-of-the-art performance on the popular and small Penn dataset when RNN LMs are regularized with random dropout. Nonetheless, we show even better performance from a simplified, much less expressive linear RNN model without off-diagonal entries in the recurrent matrix. We call this model an impulse-response LM (IRLM). Using random dropout, column normalization and annealed learning rates, IRLMs develop neurons that keep a memory of up to 50 words in the past and achieve a perplexity of 102.5 on the Penn dataset. On two large datasets however, the same regularization methods are unsuccessful for both models and the RNN's expressivity allows it to overtake the IRLM by 10 and 20 percent perplexity, respectively. Despite the perplexity gap, IRLMs still outperform RNNs on the Microsoft Research Sentence Completion (MRSC) task. We develop a slightly modified IRLM that separates long-context units (LCUs) from short-context units and show that the LCUs alone achieve a state-of-the-art performance on the MRSC task of 60.8%. Our analysis indicates that a fruitful direction of research for neural LMs lies in developing more accessible internal representations, and suggests an optimization regime of very high momentum terms for effectively training such models.

研究动机与目标

• 探究在神经语言模型中，非线性性与正则化哪个是性能提升的主要驱动因素。
• 评估在充分正则化条件下，更简单的线性RNN架构是否能与非线性RNN在语言建模中表现相当或更优。
• 探索更具可解释性的内部表征（尤其是长上下文单元LCUs）是否能提升需要长距离依赖理解的任务性能。
• 确定在小规模与大规模训练数据设置下，正则化与模型容量在性能表现中各自占主导地位的条件。

提出的方法

• 提出脉冲响应语言模型（IRLM），一种仅在循环矩阵中保留自连接的线性RNN，其中每个单元的自连接强度为-1至1之间的可学习参数。
• 对IRLM与非线性RNN均应用随机丢弃、列归一化与衰减学习率等正则化策略，以提升小样本数据集上的泛化能力。
• 设计一种改进版IRLM，将单元划分为长上下文单元（LCUs）与短上下文单元，强制LCUs保持较高的自连接值（0.7–1.0），以维持长距离记忆。
• 在Project Gutenberg等大规模数据集上使用噪声对比估计（NCE）进行训练，实现对大规模语料的高效训练。
• 在Penn Treebank（小规模数据集）与微软研究院句子补全（MRSC，大规模数据集）任务上评估模型性能，以比较其泛化能力与长上下文处理能力。
• 通过隔离LCUs并独立测量其预测能力，分析学习到的表征，证明仅使用LCUs即可在MRSC任务上实现SOTA性能。

实验结果

研究问题

• RQ1 非线性RNN相较于线性模型的性能优势，是否源于更优的正则化策略，或更高的模型容量？
• RQ2 在充分正则化条件下，简化版线性RNN架构（IRLM）能否实现与非线性RNN相当或更优的性能？
• RQ3 线性模型中的长上下文单元（LCUs）在多大程度上能捕捉并利用语言中的长距离依赖？
• RQ4 为何IRLM在MRSC任务上表现优于非线性RNN，尽管其在相同数据集上的困惑度高出20%？
• RQ5 能否通过架构设计使神经语言模型的内部表征更具可解释性与可访问性？

主要发现

• 在Penn Treebank数据集上，IRLM实现102.5的测试困惑度，与使用随机丢弃、列归一化与衰减学习率正则化的非线性RNN性能相当。
• 在MRSC句子理解任务中，IRLM实现52.5%的准确率，优于NCE训练的RNN-LM（约50%），尽管困惑度高出20%，表明其语义整合能力更优。
• 当仅使用长上下文单元（LCUs）进行预测时，IRLM在MRSC任务上达到60.8%的准确率，超越此前SOTA的54.7%，确立了新SOTA。
• IRLM通过自连接强度在0.7至0.9之间的单元，成功维持了对过去50个词的记忆，表明其具备有效的长上下文存储能力。
• 即使采用回声状态初始化，RNN-LM在相同约束下仍无法维持长上下文表征，表明IRLM的架构简化有助于实现更稳定、更可访问的长距离记忆。
• 本研究证明，提升模型可解释性与长上下文任务性能，并非依赖于增加模型容量，而是可通过架构约束设计更易访问的内部表征来实现。