[论文解读] WhatsApp, Doc? A First Look at WhatsApp Public Group Data

Kiran Garimella, Gareth Tyson|arXiv (Cornell University)|Apr 4, 2018

Complex Network Analysis Techniques参考文献 15被引用 22

一句话总结

本文提出了一种新颖且可复现的大规模公开 WhatsApp 群组数据收集方法，通过一个包含 178 个群组、45,454 名用户和 454,000 条消息的数据集，展示了其可行性。研究揭示了群组主题、活跃度水平和地理分布的高度多样性，为传播动态、虚假信息以及新兴数字机构等社会科学研究提供了新可能。

ABSTRACT

In this dataset paper we describe our work on the collection and analysis of public WhatsApp group data. Our primary goal is to explore the feasibility of collecting and using WhatsApp data for social science research. We therefore present a generalisable data collection methodology, and a publicly available dataset for use by other researchers. To provide context, we perform statistical exploration to allow researchers to understand what public WhatsApp group data can be collected and how this data can be used. Given the widespread use of WhatsApp, our techniques to obtain public data and potential applications are important for the community.

研究动机与目标

• 探索从 WhatsApp 群组收集和分析公开数据以支持社会科学研究的可行性。
• 开发一种可推广的大规模即时通讯平台数据收集方法。
• 描述公开 WhatsApp 群组中通信模式、多样性及偏见的特征。
• 展示 WhatsApp 数据在研究虚假信息、数字机构和跨文化互动方面的潜力。
• 发布经过匿名化的数据集及开源代码，以支持可复现研究。

提出的方法

• 从第三方网站（如 joinwhatsappgroup.com）抓取公开列出的 WhatsApp 群组。
• 通过 WhatsApp 的公开群组邀请链接自动加入群组。
• 以结构化、时间戳化的模式监控并记录所有消息，以便分析。
• 应用文本分析与聚类技术，基于群组标题和内容对主题进行分类。
• 使用词云图和统计摘要可视化主题分布与通信模式。
• 对用户标识符进行匿名化处理，并发布数据集及完整源代码以确保可复现性。

实验结果

研究问题

• RQ1 WhatsApp 群组在多大程度上是广播、多播或单播通信媒介？
• RQ2 在公开 WhatsApp 群组中，互动动态和消息频率如何随时间演变？
• RQ3 公开 WhatsApp 群组中用户的地理分布如何？地理位置如何影响通信模式？
• RQ4 多媒体消息如何影响 WhatsApp 群组中的互动与内容传播？
• RQ5 WhatsApp 群组数据在研究虚假信息、数字机构以及代表性不足地区社会创新方面的潜力如何？

主要发现

• 本研究成功收集到一个包含 178 个公开 WhatsApp 群组的数据集，涵盖 45,454 名用户和 454,000 条消息，证明了从 WhatsApp 大规模收集数据的可行性。
• 最大群组 'DISFRUTA AL MAXIMO' 拥有 11,000 条消息，主要位于哥伦比亚，表明其具有强烈的区域参与度。
• 群组主题高度多样化，主要类别包括政治（17 个群组）、体育（12 个群组）和教育/求职讨论（23 个群组），反映出广泛的主题覆盖。
• 地理多样性显著，印度和尼日利亚等发展中国家用户数量突出，表明 WhatsApp 在研究代表性不足人群方面具有重要价值。
• 数据集显示，WhatsApp 群组不仅限于双边通信，还支持围绕共同兴趣展开的复杂、多方、多媒体互动。
• 研究发现，WhatsApp 群组可作为新兴社会与经济机构的平台，例如非正式就业市场和基于社区的信息网络。