[论文解读] TweetBERT: A Pretrained Language Representation Model for Twitter Text Analysis

Mohiuddin Md Abdul Qudar, Vijay Mago|arXiv (Cornell University)|Oct 17, 2020

Topic Modeling参考文献 46被引用 29

一句话总结

本文提出了TweetBERT，一种在数百万条推文上预训练的领域特定语言表示模型，旨在提升推文文本分析性能。通过在情感分析和分类任务上微调，TweetBERTv1和TweetBERTv2在各类推文数据集上的平均性能比标准BERT模型高出7%以上，显著提升了对非正式、口语化社交媒体语言的处理能力。

ABSTRACT

Twitter is a well-known microblogging social site where users express their views and opinions in real-time. As a result, tweets tend to contain valuable information. With the advancements of deep learning in the domain of natural language processing, extracting meaningful information from tweets has become a growing interest among natural language researchers. Applying existing language representation models to extract information from Twitter does not often produce good results. Moreover, there is no existing language representation models for text analysis specific to the social media domain. Hence, in this article, we introduce two TweetBERT models, which are domain specific language presentation models, pre-trained on millions of tweets. We show that the TweetBERT models significantly outperform the traditional BERT models in Twitter text mining tasks by more than 7% on each Twitter dataset. We also provide an extensive analysis by evaluating seven BERT models on 31 different datasets. Our results validate our hypothesis that continuously training language models on twitter corpus help performance with Twitter.

研究动机与目标

• 解决将通用领域语言模型（如BERT）应用于非正式、口语化推文文本时性能不佳的挑战。
• 开发一种针对社交媒体（特别是推特）独特语言模式量身定制的领域特定语言表示模型。
• 通过在推文语料库上进行针对性预训练，提升推特特定自然语言处理任务（如情感分析和文本分类）的性能。
• 在31个多样化数据集（包括通用、生物医学、科学和推特领域）上，对TweetBERT与七种BERT变体进行全面评估。
• 发布预训练权重和源代码，以支持可复现性，并推动社交媒体NLP研究中的广泛应用。

提出的方法

• 在通过大数据分析平台收集的清洗后、匿名化的推文大规模语料上，对两种TweetBERT变体——TweetBERTv1（从BERT初始化）和TweetBERTv2（从ALBERT初始化）——进行预训练。
• 采用与BERT相同的预训练目标：掩码语言建模和下一句预测，但针对推文的语言风格进行适配。
• 对于TweetBERTv2，整合BERT和SciBERT（SciVocab）的词汇表，以提升在科学和技术类推文分析中的性能。
• 在下游推特任务（如情感分析（例如，Twitter Sarcasm、Sentiment140）、性别分类和政治倾向推文分类）上微调模型。
• 利用迁移学习，通过标准微调流程将预训练模型适配到特定分类任务。
• 在31个数据集上评估性能，使用准确率和边际百分比提升指标，将TweetBERT与BERT、BioBERT、SciBERT、RoBERTa和ALBERT进行比较。

实验结果

研究问题

• RQ1 是否可以通过在推文语料上专门预训练的语言模型，在推文文本分析任务中显著超越通用领域BERT模型？
• RQ2 在推文数据上持续预训练对多样化自然语言处理基准（包括非推特领域）的性能有何影响？
• RQ3 模型初始化方式（BERT vs. ALBERT）和词汇设计（BaseVocab vs. SciVocab）对推文理解性能有何影响？
• RQ4 TweetBERT模型在多大程度上能泛化到其他领域（如生物医学或科学文本）？
• RQ5 在不同类型自然语言处理任务和数据集上，TweetBERT相较于现有BERT变体的边际性能提升如何？

主要发现

• TweetBERTv1和TweetBERTv2在所有推文数据集上的平均性能比标准BERT、BioBERT、SciBERT、RoBERTa和ALBERT高出7%以上。
• 在推文数据集上评估时，TweetBERTv2相对于ALBERT的边际性能提升达到167.17%（以总准确率提升衡量）。
• 在推文情感分析任务中，TweetBERTv2在Sentiment140数据集上达到95.18%的准确率，优于BERT（85.63%）和ALBERT（90.59%）。
• TweetBERTv1在论文领域数据集上相比BERT实现22.13%的边际性能提升，表明其在科学文本分类任务中表现强劲。
• TweetBERT模型展现出良好的泛化能力，在多个生物医学数据集上优于BioBERT，表明其具备跨领域迁移能力。
• TweetBERTv2中集成SciVocab使其能够有效分析推文中的科学和技术内容，显著提升了科学解析和分类任务的性能。