[论文解读] The Effectiveness of Digital Interventions on COVID-19 Attitudes and Beliefs

Susan Athey, Kristen Grabarz+2 more|arXiv (Cornell University)|Jun 21, 2022

Misinformation and Its Impacts被引用 6

一句话总结

本研究评估了174家公共卫生组织在新冠疫情期间于Facebook和Instagram上开展的数字广告活动的有效性。基于21亿次广告展示的819项随机实验，研究发现这些活动平均使自报信念水平提升了0.55个百分点，每影响一人成本为3.41美元，尤其在提升疫苗知识和信任度方面表现突出。

ABSTRACT

During the course of the COVID-19 pandemic, a common strategy for public health organizations around the world has been to launch interventions via advertising campaigns on social media. Despite this ubiquity, little has been known about their average effectiveness. We conduct a large-scale program evaluation of campaigns from 174 public health organizations on Facebook and Instagram that collectively reached 2.1 billion individuals and cost around \$40 million. We report the results of 819 randomized experiments that measured the impact of these campaigns across standardized, survey-based outcomes. We find on average these campaigns are effective at influencing self-reported beliefs, shifting opinions close to 1% at baseline with a cost per influenced person of about \$3.41. There is further evidence that campaigns are especially effective at influencing users' knowledge of how to get vaccines. Our results represent, to the best of our knowledge, the largest set of online public health interventions analyzed to date.

研究动机与目标

• 评估社交媒体广告活动对公众关于新冠态度和信念的因果影响。
• 评估大规模数字公共卫生干预措施的成本效益。
• 识别哪些结果类型——如疫苗接种意愿、知识水平或信任度——对数字广告最敏感。
• 为未来利用数字广告的公共卫生活动提供基于证据的最佳实践建议。
• 通过整合819项随机试验的数据，克服单个实验统计效能不足的问题。

提出的方法

• 对174家公共卫生组织在Facebook和Instagram上开展的819项随机实验进行了元分析。
• 采用用户层面的随机化，以估计广告曝光对标准化调查结果的因果效应。
• 收集了七个关键结果的调查数据：疫苗接种意愿、重要性认知、有效性认知、安全性认知、对信息来源的信任度、疫苗获取知识以及社会规范认知。
• 将回应分类为二元结果（例如，“愿意接种疫苗”与“不愿意”），以确保一致比较。
• 汇总各活动的结果，以提高统计精度，估计平均处理效应。
• 通过将总广告支出（3940万美元）除以基于估计效应大小计算出的影响人数，计算每影响一人成本。

实验结果

研究问题

• RQ1 数字广告活动对自报的新冠态度和信念的平均因果效应是什么？
• RQ2 这些数字公共卫生活动在影响公众态度方面有多具成本效益？
• RQ3 哪些具体结果——如疫苗知识、信任度或接种意愿——对数字干预最敏感？
• RQ4 广告设计的哪些特征与提升公众信念的有效性相关？
• RQ5 对819项随机实验进行大规模元分析，能否克服单个活动评估中统计效能低下的问题？

主要发现

• 平均而言，活动使自报的积极回应提升了0.55个百分点（p = 2e-13），基线积极率水平为55.7%。
• 每影响一人平均成本为3.41美元，表明影响公众态度的成本相对较低。
• 活动在提升公众对疫苗获取方式的认知方面尤为有效，表明其在传播可操作信息方面具有显著影响。
• 该数据集是目前已知通过随机实验评估的最大规模在线公共卫生干预集合。
• 成功的活动通常具备可信信息来源、明确的问题陈述、简洁的文字、竖屏视频格式以及强有力的行动号召。
• 尽管对单个个体的影响较小，但其广泛的覆盖范围意味着这些活动可在群体层面上引发有意义的态度转变。