[论文解读] Tweet2Vec: Learning Tweet Embeddings Using Character-level CNN-LSTM Encoder-Decoder

Soroush Vosoughi, Prashanth Vijayaraghavan+1 more|DSpace@MIT (Massachusetts Institute of Technology)|Jul 26, 2016

Topic Modeling参考文献 8被引用 62

一句话总结

本文提出 Tweet2Vec，一种基于字符级别的 CNN-LSTM 编码器-解码器模型，通过直接处理原始字符学习通用的推文嵌入表示，在无需针对任务进行特征工程的情况下，其在推文语义相似度和情感分类任务上的表现优于当前最先进方法。该模型仅使用预训练向量表示和简单的逻辑回归分类器，就在 SemEval 2015 基准测试中取得了最先进结果。

ABSTRACT

We present Tweet2Vec, a novel method for generating general-purpose vector representation of tweets. The model learns tweet embeddings using character-level CNN-LSTM encoder-decoder. We trained our model on 3 million, randomly selected English-language tweets. The model was evaluated using two methods: tweet semantic similarity and tweet sentiment categorization, outperforming the previous state-of-the-art in both tasks. The evaluations demonstrate the power of the tweet embeddings generated by our model for various tweet categorization tasks. The vector representations generated by our model are generic, and hence can be applied to a variety of tasks. Though the model presented in this paper is trained on English-language tweets, the method presented can be used to learn tweet embeddings for different languages.

研究动机与目标

• 开发一种通用的、端到端的方法，用于学习对噪声和非标准表达具有鲁棒性的推文密集向量表示。
• 消除在推文下游自然语言处理任务中对大量任务特定特征工程的依赖。
• 探索字符级别建模在处理推文短文本、噪声多和非正式特性方面的有效性。
• 评估所学习嵌入表示在标准自然语言处理基准（如语义相似度和情感分类）上的可迁移性和性能表现。
• 证明当与简单分类器结合时，通用的推文嵌入表示可实现最先进性能。

提出的方法

• 该模型采用基于字符的编码器-解码器架构，结构为 CNN-LSTM，直接处理原始字符，无需分词。
• 输入推文被表示为 150×70 的独热编码矩阵，使用包含字母、数字、标点符号和特殊符号的 70 个字符词汇表。
• 编码器通过多层一维卷积层和最大池化操作提取分层的字符级特征，随后通过长短期记忆（LSTM）层将特征编码为固定大小的向量。
• 解码器使用两个堆叠的 LSTM 层，从编码向量逐字符重建输入推文，从而实现自编码监督。
• 最终的推文嵌入表示源自编码器 LSTM 的最终隐藏状态，该状态捕获了推文的语义内容。
• 模型在 300 万个随机采样的英文推文上进行训练，使用重建损失以优化自编码目标。

实验结果

研究问题

• RQ1 基于字符级别的 CNN-LSTM 编码器-解码器模型能否学习到有效且通用的推文嵌入表示，并在噪声多、短文本的场景下超越词级别方法？
• RQ2 此类嵌入表示在多大程度上可减少在推文下游自然语言处理任务中对任务特定特征工程的需求？
• RQ3 在处理推文的语义相似度和情感分类任务时，字符级别嵌入与词级别或句子级别嵌入（如 ParagraphVec）相比表现如何？
• RQ4 通过 WordNet 同义词替换进行数据增强，是否能提升推文嵌入表示对词汇变化的鲁棒性？
• RQ5 当在所学习的推文嵌入表示上训练时，简单的、现成的分类器（如逻辑回归）能否实现最先进性能？

主要发现

• 在 SemEval 2015 推文语义相似度任务中，Tweet2Vec 取得了 0.677 的 F1 分数，优于竞赛中排名前四的所有模型，并超越了 ParagraphVec 模型。
• 在 SemEval 2015 推文情感分类任务中，Tweet2Vec 取得了 0.656 的 F1 分数，超过竞赛中表现最佳的模型，包括得分 0.637 的 ParagraphVec 模型。
• 该模型的性能实现完全无需任何任务特定的特征工程，仅依赖于预训练的推文嵌入表示和标准的逻辑回归分类器。
• 与词级别模型（如 ParagraphVec）相比，该字符级别方法在噪声、拼写错误和词汇变化方面表现出更强的鲁棒性。
• 尽管仅在 300 万个推文上进行训练，该模型的性能依然具有竞争力，表明其具备强大的数据效率和泛化能力。
• 作者观察到，使用 WordNet 进行数据增强可提升模型对同义词的鲁棒性，表明该方法对词汇变化具有良好的适应性。