[论文解读] Multi-timescale Representation Learning in LSTM Language Models

Shivangi Mahto, Vy A. Vo+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 36被引用 7

一句话总结

本文提出了一种理论驱动的方法，通过将LSTM语言模型的内存单元时间尺度与自然语言依赖关系的幂律衰减对齐，以改进其性能。通过强制实施从理论分析推导出的逆伽马分布遗忘门偏置，模型在罕见词上的困惑度显著降低，且在不同时间尺度上实现了可解释的信息路由。

ABSTRACT

Language models must capture statistical dependencies between words at timescales ranging from very short to very long. Earlier work has demonstrated that dependencies in natural language tend to decay with distance between words according to a power law. However, it is unclear how this knowledge can be used for analyzing or designing neural network language models. In this work, we derived a theory for how the memory gating mechanism in long short-term memory (LSTM) language models can capture power law decay. We found that unit timescales within an LSTM, which are determined by the forget gate bias, should follow an Inverse Gamma distribution. Experiments then showed that LSTM language models trained on natural English text learn to approximate this theoretical distribution. Further, we found that explicitly imposing the theoretical distribution upon the model during training yielded better language model perplexity overall, with particular improvements for predicting low-frequency (rare) words. Moreover, the explicit multi-timescale model selectively routes information about different types of words through units with different timescales, potentially improving model interpretability. These results demonstrate the importance of careful, theoretically-motivated analysis of memory and timescale in language models.

研究动机与目标

• 理解LSTM语言模型如何在多个时间尺度上捕捉时间依赖性。
• 确定在建模自然语言中词依赖关系幂律衰减时，LSTM单元理论上最优的时间尺度分布。
• 通过在训练过程中显式强制执行该理论时间尺度分布，提升语言模型性能。
• 探究不同类型的词（如罕见词与常见词）是否会被选择性地路由至具有特定时间尺度的单元。
• 通过将单元时间尺度与信息处理中的功能角色关联，提升模型的可解释性。

提出的方法

• 推导出LSTM单元中遗忘门偏置与其记忆保持时间尺度之间关系的理论框架。
• 表明为建模语言中幂律衰减而最优的时间尺度分布为逆伽马分布。
• 通过显式正则化训练LSTM语言模型，以强制遗忘门偏置遵循逆伽马分布。
• 在推理阶段对单元进行消融，评估特定时间尺度组对词预测性能的贡献。
• 根据分配的时间尺度对LSTM单元进行分组，并测量每组消融对不同词频区间困惑度的影响。
• 使用困惑度和频率特定指标，对比标准LSTM与多时间尺度LSTM在基准数据集（PTB和WikiText-2）上的性能。

实验结果

研究问题

• RQ1 LSTM单元中理论上最优的时间尺度分布是什么，才能最好地捕捉自然语言中词依赖关系的幂律衰减？
• RQ2 显式强制执行该理论时间尺度分布是否能提升语言模型性能，尤其是长程依赖关系的建模？
• RQ3 具有不同时间尺度的单元是否选择性地处理不同类型的词，如罕见词或常见词？
• RQ4 多时间尺度LSTM模型中的信息路由是否具有可解释性，各时间尺度组是否具有明确的功能角色？
• RQ5 与标准LSTM相比，多时间尺度架构在困惑度和罕见词预测鲁棒性方面表现如何？

主要发现

• 理论分析预测，LSTM单元中的遗忘门偏置应遵循逆伽马分布，才能最优地建模自然语言依赖关系的幂律衰减。
• 在自然英语语料（如PTB和WikiText-2）上训练的标准LSTM语言模型，其学习到的时间尺度分布近似于逆伽马分布，验证了理论的合理性。
• 通过显式正则化使遗忘门偏置遵循逆伽马分布，可降低整体困惑度，且在罕见词（出现频率 < 100次）上的性能提升最为显著。
• 消融实验表明，长时序单元（时间尺度 < 100个时间步）对低频词预测最为关键，而短时序单元（时间尺度 < 1个时间步）对高频词预测最为重要。
• 多时间尺度模型展现出选择性信息路由，不同类型的词通过具有功能差异的时间尺度单元进行处理，显著增强了可解释性。
• 该模型的性能提升在不同数据集上保持一致，困惑度有明显下降，且在罕见词预测方面表现出更强的泛化能力。