[论文解读] Rethinking Skip-thought: A Neighborhood based Approach

Shuai Tang, Hailin Jin+3 more|arXiv (Cornell University)|Jun 9, 2017

Topic Modeling参考文献 20被引用 3

一句话总结

本文提出了一种基于邻近句子的skip-thought模型变体，该模型使用单个共享解码器同时重建前后两句话，其在七个NLP任务上的性能与原始skip-thought模型相当。令人惊讶的是，增加一个用于重建输入句子的自编码器路径反而损害了性能，而仅解码下一句的单向模型表现最佳。

ABSTRACT

We study the skip-thought model with neighborhood information as weak supervision. More specifically, we propose a skip-thought neighbor model to consider the adjacent sentences as a neighborhood. We train our skip-thought neighbor model on a large corpus with continuous sentences, and then evaluate the trained model on 7 tasks, which include semantic relatedness, paraphrase detection, and classification benchmarks. Both quantitative comparison and qualitative investigation are conducted. We empirically show that, our skip-thought neighbor model performs as well as the skip-thought model on evaluation tasks. In addition, we found that, incorporating an autoencoder path in our model didn't aid our model to perform better, while it hurts the performance of the skip-thought model.

研究动机与目标

• 探究将相邻句子作为邻域是否能为学习句子表征提供足够的监督信号。
• 评估对前一句和后一句使用单个解码器是否能与原始skip-thought模型中双解码器的性能相匹配。
• 检验增加一个用于重建输入句子的自编码器路径对模型性能的影响。
• 探索仅解码下一句的单向模型是否优于双向重建。

提出的方法

• 该skip-thought邻近模型使用单个共享解码器，同时利用当前句子的编码表示作为上下文，重建前一句和后一句。
• 该模型在大规模连续文本语料上以无监督方式训练，最小化对两邻近句子的重建损失。
• 该方法比较了多种变体：原始skip-thought模型（双解码器）、skip-thought邻近模型（对邻近句子使用单个解码器），以及增加了自编码器分支的模型。
• 在七个下游任务上评估性能，包括语义相关性、释义检测和文本分类。
• 使用句子检索和条件生成进行定性分析，采用余弦相似度衡量表征空间中的语义接近程度。

实验结果

研究问题

• RQ1 同时使用前后两句话作为共享邻域是否能为学习有效的句子表征提供足够的监督？
• RQ2 对邻近句子使用单个共享解码器是否能与原始skip-thought模型中使用两个独立解码器的性能相匹配？
• RQ3 引入一个用于重建输入句子的自编码器路径是否会提升或降低模型性能？
• RQ4 仅解码下一句的单向模型是否优于双向重建？

主要发现

• 使用单个解码器同时重建前后两句话的skip-thought邻近模型，在所有七个评估任务上的表现与原始skip-thought模型相当。
• 增加一个用于重建输入句子的自编码器路径的模型并未提升性能，反而损害了skip-thought模型的性能。
• 仅解码下一句的单向模型在所有测试变体中表现最佳。
• 定性分析显示，解码器生成的句子语法正确且语义合理，但由于数据集偏差，常以'I was'、'I'm not'或'I don't'开头。
• 使用学习到的表征进行句子检索显示，最近邻在语义上相关，表明嵌入空间中存在有效的语义聚类。