[论文解读] Tweet Insights: A Visualization Platform to Extract Temporal Insights from Twitter

Daniel Loureiro, Kiamehr Rezaee+5 more|arXiv (Cornell University)|Aug 4, 2023

Complex Network Analysis TechniquesPhysics and Astronomy被引用 3

一句话总结

本文介绍了 Tweet Insights，一个可视化平台，通过使用预先计算的词频、嵌入相似度、情感倾向和主题分布的时间序列，从2.2亿条英文推文（2018–2022年）中提取时间性语言洞察。该平台利用微调的语言模型和词嵌入技术，能够检测与事件（如电影上映或政治事件）相关的语义变化，而不仅限于简单的流行趋势。

ABSTRACT

This paper introduces a large collection of time series data derived from Twitter, postprocessed using word embedding techniques, as well as specialized fine-tuned language models. This data comprises the past five years and captures changes in n-gram frequency, similarity, sentiment and topic distribution. The interface built on top of this data enables temporal analysis for detecting and characterizing shifts in meaning, including complementary information to trending metrics, such as sentiment and topic association over time. We release an online demo for easy experimentation, and we share code and the underlying aggregated data for future work. In this paper, we also discuss three case studies unlocked thanks to our platform, showcasing its potential for temporal linguistic analysis.

研究动机与目标

• 解决由于Twitter内容具有噪声大、非正式且动态变化的特性，导致长期大规模语言变化分析的挑战。
• 为非专家用户提供一种可访问的工具，实现对词级别统计信息的实时时间分析，超越基础的频率统计。
• 通过整合多种NLP信号（情感、主题、嵌入），实现对与热门事件相关的语义变化的检测。
• 公开发布演示系统、代码及聚合数据，以支持计算社会科学与自然语言处理领域的可复现性及未来研究。

提出的方法

• 从Twitter学术API获取2.2亿条英文推文（2018–2022年），排除转发、含媒体的推文及内容贫乏的帖子。
• 通过匿名化非验证用户提及并移除URL对推文进行预处理，再使用NLTK的TweetTokenizer进行分词。
• 利用统计共现评分（Mikolov et al., 2013）识别n-gram（一元组、二元组、三元组），并设置阈值以过滤低频或噪声短语。
• 采用微调的BERT模型计算历时性词嵌入，以捕捉词义在时间区间内的变化。
• 应用微调的RoBERTa模型进行情感分类，生成每个词的时间序列情感得分。
• 采用主题建模方法（如LDA或类似方法）提取与每个词随时间演变的主题分布。

实验结果

研究问题

• RQ1 推文中的词频峰值在多大程度上可与语义变化相关联，而非仅与流行度事件相关？
• RQ2 在电影上映或选举等重大文化或政治事件发生时，词嵌入与主题分布如何变化？
• RQ3 情感与主题信号在多大程度上可帮助区分临时性病毒式传播与持久的语义变化？
• RQ4 与多维度NLP分析相比，现有工具（如Google Trends）在捕捉细微语义变化方面存在哪些局限？
• RQ5 通过嵌入相似度与主题主导性衡量，热门事件对词义的长期语言影响是什么？

主要发现

• 在2020年2月电影《寄生虫》上映后，'parasite'一词的频率急剧上升，同时其与先前语义特征的余弦距离显著增加，表明其词义关联发生了临时性转变。
• 在奥斯卡季期间，'parasite'的情感得分上升，但数月内即恢复至基线水平，与该词重新回归其原始负面含义（疾病）一致。
• 'parasite'的主题分布曾在颁奖季期间从'新闻与社会关注'短暂转向'电影电视与视频'，证实了文化事件是语义转变的驱动因素。
• 对于'folklore'，观察到余弦距离持续上升，且主题类别永久转向'音乐'类别，表明尽管热度峰值短暂，但语义变化具有持久性。
• 'macron'一词在2022年法国总统选举期间达到峰值，但其嵌入相似度、情感倾向或主题分布均未出现显著变化，表明尽管曝光度高，但语义未发生改变。
• 该平台通过整合频率、情感、主题与嵌入信号，成功检测到短暂与持久的语义变化，证明了多模态时间分析相较于仅依赖频率指标的价值。