[论文解读] Using Facebook Ads Audiences for Global Lifestyle Disease Surveillance: Promises and Limitations

Matheus Araújo, Yelena Mejova+2 more|arXiv (Cornell University)|May 11, 2017

Data-Driven Disease Surveillance参考文献 17被引用 24

一句话总结

本研究评估了Facebook广告受众估算作为全球生活方式疾病监测工具的适用性，利用基于兴趣的受众规模追踪肥胖、糖尿病等健康状况。尽管在国家内部相关性较强，但跨国比较显示其与实际疾病患病率的相关性微弱，原因在于受众估算的不稳定性，凸显了将Facebook API视为黑箱的风险。

ABSTRACT

Every day, millions of users reveal their interests on Facebook, which are then monetized via targeted advertisement marketing campaigns. In this paper, we explore the use of demographically rich Facebook Ads audience estimates for tracking non-communicable diseases around the world. Across 47 countries, we compute the audiences of marker interests, and evaluate their potential in tracking health conditions associated with tobacco use, obesity, and diabetes, compared to the performance of placebo interests. Despite its huge potential, we find that, for modeling prevalence of health conditions across countries, differences in these interest audiences are only weakly indicative of the corresponding prevalence rates. Within the countries, however, our approach provides interesting insights on trends of health awareness across demographic groups. Finally, we provide a temporal error analysis to expose the potential pitfalls of using Facebook's Marketing API as a black box.

研究动机与目标

• 评估利用Facebook广告受众估算进行全球生活方式疾病（如肥胖、糖尿病及与烟草相关疾病）监测的可行性。
• 评估Facebook受众估算在不同国家和人口群体中的可靠性与稳定性。
• 探究基于兴趣的受众规模是否与现实世界中的疾病患病率存在有意义的相关性。
• 引入安慰剂兴趣基线和时间稳定性分析，以评估数据质量并减少假阳性结果。
• 为未来利用专有社交媒体广告API作为公共卫生数据来源的研究提供方法论指导。

提出的方法

• 本研究通过Facebook营销API收集47个国家的数据，聚焦29个与生活方式疾病相关的标记兴趣。
• 将这些估算值与全球健康数据库中的实际疾病患病率数据进行比较，使用Spearman等级相关系数评估其关系。
• 使用安慰剂兴趣（如“可口可乐”、“保时捷”）作为基线，以检验虚假相关性并验证方法论的合理性。
• 通过比较两个时间点的受众估算值，分析其时间稳定性，衡量各国间变化量（delta）的相关性。
• 使用Spearman等级相关系数评估不同人口群体（年龄与性别）随时间推移的受众排序一致性。
• 通过比较地理和语言上相似国家（如美国与英国、美国与印度、美国与巴西）之间的受众趋势相似性，检验数据的一致性。

实验结果

研究问题

• RQ1 Facebook针对标记兴趣的受众估算与全球生活方式疾病实际患病率的相关性在多大程度上显著？
• RQ2 安慰剂兴趣的受众估算与标记兴趣相比如何？这对数据有效性有何启示？
• RQ3 Facebook受众估算在时间上的稳定性如何？这种稳定性在不同人口群体中是否存在差异？
• RQ4 在地理和文化上相似的国家之间，受众趋势的相似性如何？这反映了数据的何种可靠性？
• RQ5 Facebook受众估算中不稳定的主因是什么？这些因素如何影响将API用作公共卫生监测工具？

主要发现

• 在47个国家中，Facebook兴趣受众规模与实际疾病患病率之间的相关性较弱，受众规模与不稳定性之间的Spearman相关系数仅为-0.57，表明其在跨国监测中预测能力有限。
• 国家内部分析显示，兴趣受众与健康意识趋势之间存在更强且更具意义的相关性，表明其在本地公共卫生监测中具有应用潜力。
• 时间稳定性分析揭示了受众估算存在显著不稳定性：仅45%的兴趣特定年龄群体在两个时间点间保持一致排序（Spearman’s ρ > 0.7），表明其波动性极高。
• 跨国比较显示，语言和文化上相似的国家间具有更高的稳定性（如美国与英国），其中29个兴趣中有17个显示出显著的方向一致性，而美国与印度之间仅5个兴趣表现出类似趋势。
• 安慰剂兴趣的使用揭示，非疾病相关兴趣同样与健康数据表现出虚假相关性，凸显了在社交媒体健康研究中进行严格基线测试的必要性。
• 本研究识别出Facebook的NLP管道更新、兴趣类别重新定义以及广告需求波动是受众估算不稳定的主因，警示不应将API视为可靠的黑箱。