[论文解读] TGDataset: Collecting and Exploring the Largest Telegram Channels Dataset

Massimo La Morgia, Alessandro Mei+1 more|arXiv (Cornell University)|Mar 9, 2023

Misinformation and Its Impacts被引用 4

一句话总结

本文介绍了TGDataset，这是迄今为止最大规模的公开Telegram频道数据集，包含120,979个频道和超过4亿条消息。通过从180个种子频道出发的雪球采样方法，作者收集并分析了多语言内容，揭示了阴谋论、极端主义思想以及边缘内容的广泛传播，为研究Telegram上的虚假信息和平台动态提供了关键资源。

ABSTRACT

Telegram is one of the most popular instant messaging apps in today's digital age. In addition to providing a private messaging service, Telegram, with its channels, represents a valid medium for rapidly broadcasting content to a large audience (COVID-19 announcements), but, unfortunately, also for disseminating radical ideologies and coordinating attacks (Capitol Hill riot). This paper presents the TGDataset, a new dataset that includes 120,979 Telegram channels and over 400 million messages, making it the largest collection of Telegram channels to the best of our knowledge. After a brief introduction to the data collection process, we analyze the languages spoken within our dataset and the topic covered by English channels. Finally, we discuss some use cases in which our dataset can be extremely useful to understand better the Telegram ecosystem, as well as to study the diffusion of questionable news. In addition to the raw dataset, we released the scripts we used to analyze the dataset and the list of channels belonging to the network of a new conspiracy theory called Sabmyk.

研究动机与目标

• 为解决学术研究中缺乏大规模、公开可用的Telegram频道数据集的问题。
• 收集并表征多语言、多主题的公开Telegram频道综合数据集。
• 调查阴谋论、极端主义思想和非法活动等内容在Telegram上的普遍程度。
• 为研究人员提供可复现的开源数据集和分析工具，以研究虚假信息和平台演化。
• 支持对Telegram在内容传播和社群形成中作用的纵向研究和跨语言比较研究。

提出的方法

• 采用从180个种子Telegram频道出发的雪球采样技术，通过消息转发逐层发现关联频道。
• 收集公开频道的元数据，包括标题、用户名、描述、订阅人数、创建日期和消息内容。
• 应用自动化语言检测技术，识别数据集中频道使用的主要语言。
• 对英文频道进行主题建模和人工标注，以识别主要主题和社群。
• 将原始数据集、分析脚本和标注数据（语言和主题）作为开源资源发布。
• 为符合伦理标准并避免版权或成人内容，排除图片、链接和用户特定数据。

实验结果

研究问题

• RQ1 公开Telegram频道的语言多样性如何？哪些语言在平台上占主导地位？
• RQ2 英文Telegram频道中的主要主题和社群是什么？
• RQ3 在主要平台政策变更后，Telegram频道的增长和政治倾向随时间如何演变？
• RQ4 Telegram频道在多大程度上传播了与阴谋论、极端主义思想或非法活动相关的内容？
• RQ5 TGDataset如何支持对虚假信息、有组织的误导性宣传和基于平台的极端化现象的研究？

主要发现

• TGDataset包含120,979个公开Telegram频道和超过4亿条消息，是目前已知最大规模的同类公开数据集。
• 在早期，俄语频道最为活跃，但自2021年起，英语频道超越了俄语频道，这可能是由于WhatsApp隐私政策变更后用户向Telegram迁移所致。
• 语言检测揭示了显著的多语言多样性，其中英语、俄语和阿拉伯语是使用最广泛的几种语言。
• 对英文频道的主题分析发现，存在大量传播白人至上主义、复仇色情、盗卡、黑客攻击以及诸如Sabmyk等阴谋论的频道。
• 该数据集包含参与非法或有害活动的频道，包括协调市场操纵（如“拉高出货”骗局）和传播极端主义内容的频道。
• 该数据集的发布将支持未来对平台演化、内容审核以及隐私保护平台（如Telegram）上传播可疑信息现象的研究。