[论文解读] Perils and Challenges of Social Media and Election Manipulation Analysis: The 2018 US Midterms

Ashok Deb, Luca Luceri+2 more|arXiv (Cornell University)|Jan 31, 2019

Misinformation and Its Impacts参考文献 49被引用 12

一句话总结

本研究探讨了在2018年美国中期选举期间，利用推特数据作为实时传感器检测选举舞弊的可行性。通过分析#ivoted推文及一般选举相关的内容，研究识别出显著的数据偏差，包括人口分布、地理位置、机器人账号以及政治意识形态推断方面的问题，这些偏差可能导致对选举舞弊或选民压制的错误结论——凸显了依赖社交媒体进行选举监测所面临的重大挑战。

ABSTRACT

One of the hallmarks of a free and fair society is the ability to conduct a peaceful and seamless transfer of power from one leader to another. Democratically, this is measured in a citizen population's trust in the electoral system of choosing a representative government. In view of the well documented issues of the 2016 US Presidential election, we conducted an in-depth analysis of the 2018 US Midterm elections looking specifically for voter fraud or suppression. The Midterm election occurs in the middle of a 4 year presidential term. For the 2018 midterms, 35 senators and all the 435 seats in the House of Representatives were up for re-election, thus, every congressional district and practically every state had a federal election. In order to collect election related tweets, we analyzed Twitter during the month prior to, and the two weeks following, the November 6, 2018 election day. In a targeted analysis to detect statistical anomalies or election interference, we identified several biases that can lead to wrong conclusions. Specifically, we looked for divergence between actual voting outcomes and instances of the #ivoted hashtag on the election day. This analysis highlighted three states of concern: New York, California, and Texas. We repeated our analysis discarding malicious accounts, such as social bots. Upon further inspection and against a backdrop of collected general election-related tweets, we identified some confounding factors, such as population bias, or bot and political ideology inference, that can lead to false conclusions. We conclude by providing an in-depth discussion of the perils and challenges of using social media data to explore questions about election manipulation.

研究动机与目标

• 评估推特数据在2018年美国中期选举期间是否可作为现实投票行为的可靠代理指标。
• 调查数据偏差（如人口分布、机器人活动及政治意识形态推断）对社交媒体选举分析的影响。
• 通过对比各州#ivoted推文数量与官方投票数，评估基于社交媒体的选举监测在一致性和可靠性方面的表现。
• 识别方法论陷阱，例如对数据清洗选择（如是否包含转发）的敏感性，这些选择可能扭曲关于潜在选民压制或舞弊的结论。
• 为未来利用社交媒体数据开展社会公益研究（特别是选举诚信监测）提供警示性见解。

提出的方法

• 收集了2018年11月6日选举前一个月至选举后两周的推特数据，重点关注选举相关话题标签和关键词。
• 将选举日的#ivoted话题标签作为实际投票行为的代理指标，将其数量与50个州的官方投票数进行对比。
• 应用机器人检测技术，评估恶意账号是否在数据异常的州中扭曲了分析结果。
• 通过用户分享的链接对政治意识形态进行推断，并利用转发网络传播标签。
• 结合外部数据源（官方投票数和盖洛普民意调查数据）进行对比分析，以验证政治意识形态推断的准确性。
• 评估结果对数据处理选择的敏感性，例如是否包含或排除转发内容及机器人过滤后的数据，特别是在德克萨斯州等高异常值州。

实验结果

研究问题

• RQ1 在多大程度上，选举日#ivoted推文数量可作为美国各州实际选民 turnout 的可靠代理指标？
• RQ2 人口分布、地理位置误判和机器人活动等数据偏差在多大程度上影响了基于社交媒体的选举监测的有效性？
• RQ3 方法论选择（如是否包含转发、是否移除机器人）对检测社交媒体活动中的统计异常与真实选举结果之间差异的影响如何？
• RQ4 社交媒体推断出的政治意识形态与外部民意调查数据的吻合度如何？这对利用社交媒体评估公众舆论意味着什么？
• RQ5 在哪些州出现了#ivoted活动与实际投票数之间的差异？这些异常的混杂因素是什么？

主要发现

• 在50个州中的47个州，#ivoted推文数量与官方投票数之间存在强烈相关性，表明社交媒体作为监测工具具有初步潜力。
• 尽管大多数州的相关性很高，但纽约州、加利福尼亚州和德克萨斯州在#ivoted活动与实际投票数之间表现出显著差异，最初引发了对舞弊的担忧。
• 在德克萨斯州，移除转发后结果发生显著变化，表明数据处理选择可能人为制造或掩盖异常，凸显了方法论决策的敏感性。
• 从社交媒体内容推断出的政治意识形态与盖洛普民意调查数据存在显著偏差，表明当前推断技术存在局限性，并可能存在人口偏差。
• 即使在过滤掉机器人账号后，也未在异常州发现系统性选举舞弊或选民压制的证据，表明异常更可能源于数据偏差而非选举干预。
• 研究结论认为，社交媒体数据充斥着各类偏差——包括数据收集、地理位置和验证方面的局限——可能导致错误结论，因此在进行选举诚信分析时应谨慎使用此类数据。