[论文解读] Trimming and Improving Skip-thought Vectors

Shuai Tang, Hailin Jin+3 more|arXiv (Cornell University)|Jun 9, 2017

Topic Modeling参考文献 27被引用 6

一句话总结

该论文通过裁剪一个解码器、在编码器与解码器之间引入平均+最大连接机制，并使用预训练词嵌入进行初始化，提出了一种更快、更轻量化且性能相当的跳跃思考模型变体。该模型在7项下游自然语言处理任务上实现了具有竞争力的性能，同时减少了参数量和训练时间。

ABSTRACT

The skip-thought model has been proven to be effective at learning sentence representations and capturing sentence semantics. In this paper, we propose a suite of techniques to trim and improve it. First, we validate a hypothesis that, given a current sentence, inferring the previous and inferring the next sentence provide similar supervision power, therefore only one decoder for predicting the next sentence is preserved in our trimmed skip-thought model. Second, we present a connection layer between encoder and decoder to help the model to generalize better on semantic relatedness tasks. Third, we found that a good word embedding initialization is also essential for learning better sentence representations. We train our model unsupervised on a large corpus with contiguous sentences, and then evaluate the trained model on 7 supervised tasks, which includes semantic relatedness, paraphrase detection, and text classification benchmarks. We empirically show that, our proposed model is a faster, lighter-weight and equally powerful alternative to the original skip-thought model.

研究动机与目标

• 在不损失性能的前提下，减少原始跳跃思考模型的计算与参数开销。
• 验证邻近假设，即仅重建下一个句子即可提供足够的监督信号，相较于同时重建前一个和后一个句子，性能不会下降。
• 通过增强编码器与解码器之间的特征交互，提升在语义相关性及其他自然语言处理任务上的泛化能力。
• 探究词嵌入初始化对无监督句子表示学习中迁移学习性能的影响。

提出的方法

• 仅保留下一个句子的解码器，舍弃前一个句子的解码器，以降低模型复杂度并加快训练速度。
• 在编码器与解码器之间引入平均+最大连接层，通过拼接隐藏状态的逐元素平均值与最大值，增强特征表示能力。
• 使用预训练词嵌入（如GloVe）作为词嵌入层的初始化方式，以提升句子表示的质量。
• 在大规模语料库中连续句子元组上端到端地无监督训练模型，以下一个句子预测作为训练目标。
• 采用双向GRU作为编码器，自回归RNN作为解码器，用于序列建模。
• 在包括语义相似性、释义检测和文本分类在内的7项下游任务上评估最终的句子表示。

实验结果

研究问题

• RQ1 仅重建下一个句子而非前后两个句子，是否会在句子表示任务上导致性能下降？
• RQ2 像平均+最大这样的非线性、非参数化连接机制，是否能提升模型捕捉复杂语义交互的能力？
• RQ3 词嵌入初始化如何影响无监督句子表示的可迁移性与性能表现？
• RQ4 在不使参数量不成比例增长的前提下，模型规模可扩展到何种程度？这种扩展是否能提升性能？

主要发现

• 仅保留下一个句子解码器的裁剪版跳跃思考模型，在全部7项下游任务上的性能与原始跳跃思考模型相当。
• 平均+最大连接层在语义相关性与释义检测任务上的表现显著优于普通连接方式。
• 使用预训练词嵌入（如GloVe）可明显提升迁移性能，尤其在语义相似性与文本分类基准上表现更优。
• 增大编码器维度可提升性能，且该模型的参数量远低于原始跳跃思考模型。
• 该模型训练速度更快，参数量更少，同时在无监督句子表示学习任务中保持了最先进性能。
• 该模型在多种自然语言处理任务上泛化能力出色，包括SICK、SNLI和文本分类数据集，且无需在下游任务上进行微调。