[论文解读] Multiscale sequence modeling with a learned dictionary

Bart van Merriënboer, Amartya Sanyal+2 more|arXiv (Cornell University)|Jul 3, 2017

Natural Language Processing Techniques被引用 5

一句话总结

该论文提出了一种多尺度序列模型，通过一种类似BPE的算法学习字典，将多符号标记（multi-symbol tokens）作为预测目标，而非单个字符或单词。该方法结合了字符级模型的灵活性与词级建模的效率，在语言建模性能上实现提升，尤其在小型模型上表现更优，优于标准LSTM模型，同时通过动态规划保持了可处理的似然计算。

ABSTRACT

We propose a generalization of neural network sequence models. Instead of predicting one symbol at a time, our multi-scale model makes predictions over multiple, potentially overlapping multi-symbol tokens. A variation of the byte-pair encoding (BPE) compression algorithm is used to learn the dictionary of tokens that the model is trained with. When applied to language modelling, our model has the flexibility of character-level models while maintaining many of the performance benefits of word-level models. Our experiments show that this model performs better than a regular LSTM on language modeling tasks, especially for smaller models.

研究动机与目标

• 通过引入结合两者优势的混合方法，解决字符级与词级序列模型的局限性。
• 通过建模更长、更有意义的子词单元，缓解RNN中长期依赖与Softmax饱和带来的训练困难。
• 在通过结构化分词提升性能的同时，保持字符级模型对OOV（词汇表外）词汇的灵活性。
• 通过在多种可能的分词方案上进行动态规划，实现高效且可处理的似然计算。

提出的方法

• 模型使用通过类似BPE的算法学习得到的多符号标记字典，以在多个尺度上表示序列。
• 在每个时间步，模型对所有与当前序列后缀匹配的有效标记进行预测，允许重叠与分层预测。
• 隐藏状态通过所有匹配标记的RNN输出的平均值计算，使用转移函数f和嵌入xi。
• 似然通过动态规划计算，对所有有效序列分词方案进行边际化。
• 模型使用RNN（如LSTM）维持上下文信息，隐藏状态ht基于字典中最近的标记进行更新。
• 似然通过梯度下降直接优化，类似于CTC与前向-后向算法，支持端到端训练。

实验结果

研究问题

• RQ1 与标准字符级或词级模型相比，预测多符号标记而非单个符号的序列模型是否能实现更优性能？
• RQ2 使用基于BPE的、可学习的字典在建模效率与泛化能力方面有何影响，特别是在罕见或未见词汇上？
• RQ3 该模型是否能在每个时间步允许多重重叠的标记预测的同时，保持似然计算的可处理性？
• RQ4 多尺度方法在多大程度上缓解了与长期依赖和Softmax饱和相关的训练困难？
• RQ5 在标准语言建模基准上，该模型与MI-LSTM和td-LSTM等先进RNN变体相比表现如何？

主要发现

• 所提出的多尺度模型优于标准LSTM语言模型，尤其在小型架构上表现更优，展现出更优的样本效率。
• 通过减少建模序列所需的转换次数，该模型在性能上优于字符级模型，从而缓解了训练困难。
• 使用基于BPE的字典使模型能有效处理OOV词汇，同时保持了字符级模型的灵活性。
• 通过动态规划实现的似然计算具有可处理性，支持直接优化，并可对所有有效分词方案进行边际化。
• 在text8数据集上，该模型取得了具有竞争力的结果，性能接近HM-LSTM等最先进模型，尽管尚未超越。
• 该方法可泛化至其他架构，未来采用更深或更复杂的RNN变体有望进一步提升性能。