[论文解读] Skip-Thought Vectors

Ryan Kiros, Yukun Zhu+5 more|arXiv (Cornell University)|Jun 22, 2015

Topic Modeling参考文献 38被引用 725

一句话总结

本文提出了Skip-Thought Vectors，一种通过在图书语料库中重建前后句子的自编码目标来学习通用分布式句子表征的方法。该模型在使用冻结嵌入的线性分类器时，于8项不同的自然语言处理任务上实现了出色的零样本性能，确立了强大且即插即用的句子表征基线。

ABSTRACT

We describe an approach for unsupervised learning of a generic, distributed sentence encoder. Using the continuity of text from books, we train an encoder-decoder model that tries to reconstruct the surrounding sentences of an encoded passage. Sentences that share semantic and syntactic properties are thus mapped to similar vector representations. We next introduce a simple vocabulary expansion method to encode words that were not seen as part of training, allowing us to expand our vocabulary to a million words. After training our model, we extract and evaluate our vectors with linear models on 8 tasks: semantic relatedness, paraphrase detection, image-sentence ranking, question-type classification and 4 benchmark sentiment and subjectivity datasets. The end result is an off-the-shelf encoder that can produce highly generic sentence representations that are robust and perform well in practice. We will make our encoder publicly available.

研究动机与目标

• 开发一种无监督方法，用于学习通用且可迁移的句子表征，而无需针对特定任务进行微调。
• 解决仅针对目标应用进行优化的任务特定句子编码器的局限性。
• 通过从预训练的word2vec向量到模型词嵌入空间的线性映射，实现未登录词在句子编码中的处理。
• 在无需进一步适应的情况下，评估句子嵌入在多样化自然语言处理任务上的泛化能力。

提出的方法

• 训练一个编码器-解码器模型，利用编码后的句子作为上下文，重建语料库中给定句子的前一句和后一句。
• 使用BookCorpus数据集——包含11,038本书，共7400万条句子——作为连续文本序列的训练语料。
• 在句子层面应用修改后的跳字模型目标，其中目标是周围句子而非周围词语。
• 通过学习从预训练的word2vec嵌入到模型词嵌入空间的线性映射，实现词汇表扩展技术，从而实现未登录词的编码。
• 训练完成后冻结编码器，并将其用作下游任务中线性分类器的固定特征提取器。
• 应用t-SNE可视化技术，评估TREC、SUBJ和SICK等数据集中句子表征的语义聚类情况。

实验结果

研究问题

• RQ1 基于句子连贯性的无监督目标能否生成在多样化自然语言处理任务上泛化能力良好的通用句子表征？
• RQ2 与bag-of-words等强基线模型以及监督模型相比，Skip-Thought Vectors在零样本迁移学习中的性能如何？
• RQ3 该模型在训练期间未见过的未登录词上的泛化能力有多大？
• RQ4 通过最近邻分析和t-SNE可视化，所学习的句子表征在多大程度上捕捉了有意义的句法和语义结构？

主要发现

• Skip-Thought Vectors仅使用冻结嵌入的线性分类器，就在8项不同自然语言处理任务上实现了优异性能，证明了其强大的零样本迁移能力。
• 在SICK数据集上，Skip-Thought Vectors在句子对相关性分类任务中达到87.5%的准确率，优于许多无监督方法。
• 在情感分析和主观性任务中，该模型性能与强大的bag-of-words基线（如NB-SVM）相当，而Skip-Thoughts-NB组合在MR数据集上取得了最先进结果（准确率达93.6%）。
• t-SNE可视化显示，即使未使用相关性标签，语义和句法上相似的句子对在嵌入空间中也聚集在一起。
• 当以种子句子为条件时，该模型能生成连贯且类似新文本的输出，表明所学表征捕捉到了叙事结构和语言流畅性。
• 词汇表扩展方法成功地将word2vec中的未登录词映射到模型的嵌入空间，实现了对罕见或未见词汇的编码。