[论文解读] Pointer Sentinel Mixture Models

Stephen Merity, Caiming Xiong+2 more|arXiv (Cornell University)|Sep 26, 2016

Natural Language Processing Techniques参考文献 17被引用 481

一句话总结

本文提出了一种混合指针-哨兵混合模型，将 softmax 词汇预测与指针机制相结合，从最近上下文中复制，从而在 Penn Treebank 上实现最先进的困惑度，同时参数量显著减少，并引入 WikiText 作为新的更长上下文语言建模基准。

ABSTRACT

Recent neural network sequence models with softmax classifiers have achieved their best language modeling performance only with very large hidden states and large vocabularies. Even then they struggle to predict rare or unseen words even if the context makes the prediction unambiguous. We introduce the pointer sentinel mixture architecture for neural sequence models which has the ability to either reproduce a word from the recent context or produce a word from a standard softmax classifier. Our pointer sentinel-LSTM model achieves state of the art language modeling performance on the Penn Treebank (70.9 perplexity) while using far fewer parameters than a standard softmax LSTM. In order to evaluate how well language models can exploit longer contexts and deal with more realistic vocabularies and larger corpora we also introduce the freely available WikiText corpus.

研究动机与目标

• 在有限隐藏状态容量下，激励并解决预测罕见或未见单词的难题。
• 提出一种混合架构，可以输出软最大词汇表中的一个词，或通过指针网络从最近上下文复制一个词。
• 引入一个基于哨兵的门控机制，决定在使用指针还是软最大组件时的选择。
• 分享一个新的大型语言建模数据集（WikiText）以评估长程依赖和现实词汇。
• 证明在 Penn Treebank 上达到最先进的 perplexity，同时相较于同类模型参数量更少。

提出的方法

• 定义用于标准单词预测的 softmax-RNN 组件。
• 开发一个指针网络组件，使用对过去隐藏状态窗口的注意力来从输入中复制单词。
• 创建一个指针-哨兵混合，通过阀(gate) g 将指针与 softmax 预测结合，g 来源于包含哨兵项的增强注意向量。
• 在注意力中引入一个哨兵值，以便当指针无法自信地预测下一个单词时回退到 softmax。
• 使用适用于混合的交叉熵损失进行训练，并在反向传播时重新生成指针窗口内的陈旧 RNN 输出。
• 在 Penn Treebank 和 WikiText 数据集上进行评估，与先前的基于 LSTM 的语言模型进行详细比较。

实验结果

研究问题

• RQ1 一个结合指针机制和传统 softmax 输出的混合模型是否能够改善语言建模，尤其是对罕见词或超出词汇表的词？
• RQ2 将基于哨兵的门控机制整合是否能够实现参数的有效共享并改善指针组件与 softmax 组件之间的决策？
• RQ3 在像 WikiText 这样的更长上下文数据集上，指针哨兵混合的表现如何，与标准 LSTM 相比？
• RQ4 指针窗口长度 L 与训练策略（BPTT）对学习长程依赖有何影响？

主要发现

• 指针哨兵-LSTM 在 Penn Treebank 上实现了最先进的 perplexity（70.9），使用的参数远少于大型 LSTM。
• 在 Penn Treebank 上，中等大小的指针哨兵-LSTM 相比大型 LSTM 变体，使用参数大约为其三分之一却有更好的表现。
• 在 WikiText-2 上，指针哨兵-LSTM 显著优于变分 LSTM 基线（84.8 vs. 101.7 验证 perplexity；80.8 vs. 96.3 测试 perplexity）。
• 通过使指针组件能够从最近上下文复制来更好地处理罕见单词，随着单词频率下降取得显著提升。
• 基于哨兵的门控能够在指针无法自信匹配单词时有效回退到 softmax，提升鲁棒性和性能。