[论文解读] Reranking partisan animosity in algorithmic social media feeds alters affective polarization

Tiziano Piccardi, Martin Saveski+4 more|arXiv (Cornell University)|Nov 22, 2024

Social Media and Politics被引用 4

一句话总结

本研究通过实时大语言模型（LLM）驱动的动态信息流重排序，测试了在X/推特平台上，人们对反民主态度与党派敌意（AAPA）的暴露如何影响情感极化。在一项持续10天、预先注册的现场实验中，共有1,256名用户参与。减少AAPA内容的暴露显著改善了对政治他者的感受，降低了负面情绪，而参与度指标保持不变，表明算法设计可在不改变用户行为的前提下缓解极化。

ABSTRACT

Today, social media platforms hold sole power to study the effects of feed ranking algorithms. We developed a platform-independent method that reranks participants' feeds in real-time and used this method to conduct a preregistered 10-day field experiment with 1,256 participants on X during the 2024 U.S. presidential campaign. Our experiment used a large language model to rerank posts that expressed antidemocratic attitudes and partisan animosity (AAPA). Decreasing or increasing AAPA exposure shifted out-party partisan animosity by two points on a 100-point feeling thermometer, with no detectable differences across party lines, providing causal evidence that exposure to AAPA content alters affective polarization. This work establishes a method to study feed algorithms without requiring platform cooperation, enabling independent evaluation of ranking interventions in naturalistic settings.

研究动机与目标

• 探究算法对反民主态度与党派敌意（AAPA）的暴露是否导致社交媒体上的情感极化。
• 测试在真实场景中，基于内容的实时LLM信息流重排序是否能减少情感极化。
• 评估AAPA内容暴露对情绪状态及传统参与度指标（如转发与收藏）的影响。
• 评估用户是否感知到干预带来的社交媒体使用体验变化。
• 探索干预效果是否在不同人口统计或社会经济子群体中存在差异。

提出的方法

• 开发了一种基于LLM的分类器，用于实时检测社交媒体内容中的八类AAPA——反民主态度与党派敌意。
• 部署了一个网页扩展程序，根据分类器的输出结果，对参与者的X/推特信息流进行重排序，以增加或减少其对AAPA内容的暴露。
• 在X/推特上开展了一项持续10天、预先注册的现场实验，共有1,256名知情同意的参与者，随机分配至AAPA暴露增加或减少的组别。
• 通过信息流内调查和实验后调查测量情感极化，捕捉用户对政治他者的感受。
• 收集并分析参与度指标（转发、收藏、新发帖/回复），以评估行为影响。
• 使用BERT嵌入与逻辑回归模型测试用户是否能察觉其信息流体验的变化，采用交叉验证进行模型评估。

实验结果

研究问题

• RQ1 在算法推荐的信息流中减少对AAPA的暴露，是否会导致对政治他者的感受更加积极？
• RQ2 增加AAPA内容的暴露是否会导致更负面的情绪状态，如愤怒与悲伤？
• RQ3 AAPA暴露的变化是否显著影响X/推特上的传统参与度指标（如转发与收藏）？
• RQ4 干预组与对照组在对自身推特使用体验的感知上是否存在可检测的差异？
• RQ5 AAPA暴露的影响是否在不同人口统计或社会经济子群体中存在差异？

主要发现

• 在社交媒体信息流中减少AAPA暴露，显著提升了对政治他者的积极感受，信息流内情感极化测量的处理效应为β = 0.18（95%置信区间[0.08, 0.28]）。
• 暴露于更高水平AAPA内容的参与者，对政治他者的感受显著变冷，信息流内情感极化测量的处理效应为β = -0.16（95%置信区间[-0.26, -0.06]）。
• 暴露于更高水平AAPA内容的参与者，在信息流内调查中报告了可测量的负面情绪增加，包括愤怒与悲伤。
• 参与度指标无显著变化：在AAPA暴露增加组中，收藏率仅变化0.14%（p = 0.796），在暴露减少组中则下降0.29%（p = 0.43）。
• 新发帖与回复数量在干预组与对照组之间无显著差异。
• 参与者大多未能察觉干预：仅10.3%报告体验变好，4.1%注意到更多政治内容（分布均匀），2.8%报告性能下降；分类模型在预测实验组别时仅达到50.5%的F1分数，表明无明显可感知信号。