[论文解读] TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning

Kexin Wang, Nils Reimers+1 more|arXiv (Cornell University)|Apr 14, 2021

Topic Modeling参考文献 35被引用 44

一句话总结

TSDAE 是一种基于 Transformer 的无监督方法，通过序列去噪自编码学习句子嵌入，在多领域任务上超越以往的无监督方法，并接近有监督模型。

ABSTRACT

Learning sentence embeddings often requires a large amount of labeled data. However, for most tasks and domains, labeled data is seldom available and creating it is expensive. In this work, we present a new state-of-the-art unsupervised method based on pre-trained Transformers and Sequential Denoising Auto-Encoder (TSDAE) which outperforms previous approaches by up to 6.4 points. It can achieve up to 93.1% of the performance of in-domain supervised approaches. Further, we show that TSDAE is a strong domain adaptation and pre-training method for sentence embeddings, significantly outperforming other approaches like Masked Language Model. A crucial shortcoming of previous studies is the narrow evaluation: Most work mainly evaluates on the single task of Semantic Textual Similarity (STS), which does not require any domain knowledge. It is unclear if these proposed methods generalize to other domains and tasks. We fill this gap and evaluate TSDAE and other recent approaches on four different datasets from heterogeneous domains.

研究动机与目标

• 在标注数据极少或没有的领域中，推动并实现高质量的句子嵌入。
• 介绍基于 Transformer 的序列去噪自编码器架构 TSDAE。
• 展示 TSDAE 在多样化任务上优于先前的无监督方法，且接近有监督模型。
• 展示 TSDAE 作为领域自适应与预训练目标的有效性。

提出的方法

• Encoder-Decoder Transformer，跨注意力仅将句子嵌入作为键和值。
• 使用单词删除（删除比例 0.6）来破坏输入句子，产生损坏输入。
• 训练以从损坏输入重构原始句子嵌入（SDAE 目标）。
• 使用来自 [CLS] 令牌的固定大小嵌入作为句子表示。
• 在训练过程中绑定编码器和解码器的参数。
• 在域多样的任务上进行评估（IR、RR、PI），并与 CT、SimCSE、BERT-flow、MLM，以及 SBERT/USE 基线进行对比。

实验结果

研究问题

• RQ1 TSDAE 是否能在异质域中产生高质量的无监督句子嵌入？
• RQ2 在领域特定任务上，TSDAE 与其他无监督句子嵌入方法相比如何？
• RQ3 除了简单的无监督学习外，TSDAE 作为预训练和领域自适应目标是否有效？
• RQ4 除了 STS 的评估，其他评估如何与无监督方法在实际下游任务的表现相关？

主要发现

• TSDAE 在多领域任务上比以往无监督方法高出多达 6.4 点。
• 在评估任务上，TSDAE 的性能可以达到与某些有监督的预训练模型（如 USE-large）相当甚至超过的水平。
• 领域自适应：先进行无监督 TSDAE，再进行有监督的 NLI+STS 训练，相较于相反顺序，在所有任务中观察到平均提升。
• 预训练：TSDAE 作为预训练目标优于 MLM 等基线，在下游有监督性能上带来显著提升。
• 仅STS的评估与领域特定任务的表现相关性较差；与以STS为中心的方法相比，TSDAE在真实世界任务上呈现更强的提升。