[论文解读] TweetNLP: Cutting-Edge Natural Language Processing for Social Media

José Camacho-Collados, Kiamehr Rezaee+12 more|arXiv (Cornell University)|Jun 29, 2022

Hate Speech and Cyberbullying Detection被引用 14

一句话总结

TweetNLP 是一个轻量级、易用的 NLP 平台，专注于处理 Twitter 文本，利用微调后的 RoBERTa 和 XLM-R 基础模型，支持情感分析、攻击性语言检测和表情符号预测等任务。它可在标准硬件上实现高效推理，并提供 Python 库、在线演示和教程。其微博嵌入模型在微博回复检索任务中达到 26.7% 的准确率，优于同类更大规模的基线模型。

ABSTRACT

In this paper we present TweetNLP, an integrated platform for Natural Language Processing (NLP) in social media. TweetNLP supports a diverse set of NLP tasks, including generic focus areas such as sentiment analysis and named entity recognition, as well as social media-specific tasks such as emoji prediction and offensive language identification. Task-specific systems are powered by reasonably-sized Transformer-based language models specialized on social media text (in particular, Twitter) which can be run without the need for dedicated hardware or cloud services. The main contributions of TweetNLP are: (1) an integrated Python library for a modern toolkit supporting social media analysis using our various task-specific models adapted to the social domain; (2) an interactive online demo for codeless experimentation using our models; and (3) a tutorial covering a wide variety of typical social media applications.

研究动机与目标

• 解决通用 NLP 模型在应用于 Twitter 等嘈杂、非正式社交媒体文本时的局限性。
• 通过在标准硬件上运行而无需依赖云服务，使高性能、任务特定的社交媒体 NLP 模型更易获取，实现普惠化。
• 提供一个统一、用户友好的平台，集成最先进模型、交互式演示和教育资料，面向非专业人士。
• 通过无需代码和可视化方式探索模型行为，支持模型透明度和偏见检测。
• 超越分类任务，未来计划支持低层级 NLP 任务（如词性标注、句法分析）以及更多平台（如 Reddit、Instagram）和语言。

提出的方法

• 在大规模 Twitter 语料库上微调 RoBERTa-base 和 XLM-R-base 语言模型，构建领域专用模型。
• 为下游 NLP 任务（如情感分析、命名实体识别、攻击性语言识别）开发特定任务头。
• 使用蒸馏后的基础尺寸模型，构建轻量、高效的推理流水线，确保与标准 CPU 和免费云服务的兼容性。
• 实现一个 Python 库，支持程序化访问模型，便于集成到研究和生产工作流中。
• 构建基于网页的交互式演示，使非程序员无需编码即可测试模型并进行实时分析。
• 通过微博回复对的对比预训练生成微博级别的嵌入表示，以提升检索和相似性任务的性能。

实验结果

研究问题

• RQ1 轻量级、领域适配的 Transformer 模型是否能在无需专用硬件的情况下，优于通用模型在社交媒体 NLP 任务上的表现？
• RQ2 领域内预训练的嵌入表示在捕捉非正式、嘈杂的 Twitter 文本中的语义和句法细微差别方面有多有效？
• RQ3 一个集成了 Python API、在线演示和教程的统一平台，能在多大程度上降低研究人员和从业者在社交媒体 NLP 领域的入门门槛？
• RQ4 在包括表情符号预测和攻击性语言检测等特定于 Twitter 的任务中，模型性能和鲁棒性如何比较？
• RQ5 经过微调的小型模型是否仍能在 TweetEval 等基准任务上达到最先进水平，同时保持对非专家用户友好？

主要发现

• TweetNLP 平台在微博回复检索任务中达到 26.7% 的准确率，显著优于 all-mpnet-base-v2 基线模型（15.8%），尽管其模型更小、更高效。
• TweetNLP 的微博嵌入模型在 STS-benchmark 上的斯皮尔曼等级相关系数达到 70.7%，表明其在句子相似性任务上表现具有竞争力，尽管仅在领域内 Twitter 数据上进行预训练。
• 情感分析模型在 2022 年 1 月成为 Hugging Face 上下载量最高的模型，下载量超过 1500 万次，显示出强劲的社区采纳度。
• 用于评估任务特定模型的 TweetEval 基准数据集，在 2022 年 4 月成为 Hugging Face 上下载量第二高的数据集，下载量超过 15 万次。
• TweetNLP 的预训练 fastText 风格嵌入在四个评估数据集中的两个（WS-Sim 和 MEN）上优于标准预训练 fastText，尤其在相关性任务中表现更优。
• 该平台可在标准硬件上实现实时推理，无需专用 GPU 或云基础设施，使更广泛的用户群体能够轻松使用。