[论文解读] Social media algorithms can curb misinformation, but do they?

Chhandak Bagchi, Filippo Menczer+4 more|arXiv (Cornell University)|Sep 26, 2024

Misinformation and Its Impacts被引用 1

一句话总结

本文挑战了 Guess 等人 2023 年关于 Facebook 算法的研究的有效性，表明 2020 年美国大选期间为抑制虚假信息而实施的临时‘破窗’算法变更，显著改变了该实验的对照条件。作者指出，研究期间不可靠新闻观看量下降 24% 的现象，很可能是由于这些未披露的变更所致，而非算法信息流本身，从而削弱了该研究‘算法不会放大虚假信息’的结论。

ABSTRACT

A recent article in $ extit{Science}$ by Guess et al. estimated the effect of Facebook's news feed algorithm on exposure to misinformation and political information among Facebook users. However, its reporting and conclusions did not account for a series of temporary emergency changes to Facebook's news feed algorithm in the wake of the 2020 U.S. presidential election that were designed to diminish the spread of voter-fraud misinformation. Here, we demonstrate that these emergency measures systematically reduced the amount of misinformation in the control group of the study, which was using the news feed algorithm. This issue may have led readers to misinterpret the results of the study and to conclude that the Facebook news feed algorithm used outside of the study period mitigates political misinformation as compared to reverse chronological feed.

研究动机与目标

• 评估 Guess 等人 2023 年关于 Facebook 算法信息流及其对虚假信息传播影响的研究的有效性。
• 调查 2020 年美国大选期间临时紧急算法变更是否影响了 Guess 等人研究中的实验对照条件。
• 评估观察到的不可靠内容曝光减少的程度，是由于算法变更而非基线算法所致。
• 强调由于未报告的平台算法变更，数字实地实验存在时间有效性风险。
• 倡导提高算法透明度，并对社交媒体平台实施独立审计，以确保研究有效性与公众问责。

提出的方法

• 作者分析了 Facebook 的 URL 数据集（Messing 等，2020），以衡量用户对可信与不可靠来源新闻的曝光程度。
• 他们使用媒体偏见/事实核查（MBFC）评级定义不可靠来源，重点关注在事实报道方面被评为中等、偏低或极低的媒体。
• 他们计算了每周每则新闻来源的平均观看次数，并追踪了 2020 年 9 月至 2021 年 3 月期间不可靠新闻观看比例的变化。
• 他们将 Guess 等人实验期间观察到的不可靠内容曝光减少与更长的时间线进行比较，识别出不可靠观看比例下降了 24%。
• 他们通过 NewsGuard 评分对结果进行了交叉验证，确认了不可靠内容曝光趋势的一致性。
• 他们将研究发现置于 Meta 在选举后为抑制虚假信息而引入的 63 次‘破窗’算法变更的时间线背景下进行分析。

实验结果

研究问题

• RQ1 Meta 在 2020 年美国大选期间实施的临时‘破窗’算法变更，在多大程度上影响了 Guess 等人随机实验中的对照条件？
• RQ2 实验期间观察到的不可靠内容曝光减少，是源于算法信息流本身，还是源于紧急平台干预？
• RQ3 未报告的算法变更如何影响社交媒体平台上数字实地实验的时间有效性与可推广性？
• RQ4 如果在没有紧急算法变更的时期重复进行相同的实验，Guess 等人研究中观察到的效果是否仍可复现？
• RQ5 平台算法不透明对独立研究和虚假信息公共政策有何影响？

主要发现

• 从 2020 年 11 月 3 日至 2021 年 3 月 8 日，算法信息流中不可靠新闻观看比例下降了约 24%，与 Guess 等人研究的时间段重合。
• 这一不可靠内容曝光的下降很可能是由于 Meta 的 63 次紧急‘破窗’算法变更所致，而非基线算法信息流。
• 该研究得出的‘算法信息流减少不可靠内容曝光’的结论可能无效，因为对照条件被未披露的平台干预所改变。
• 这些临时算法变更旨在大选结束后立即降低不可靠来源的可见度。
• 结果表明，社交媒体算法在危机期间若被主动修改，可抑制虚假信息，但这也引发了对其长期可靠性与透明度的担忧。
• 若无法获取更新的平台数据并保持一致的算法披露，未来关于虚假信息的研究将依然不完整，甚至可能具有误导性。