[论文解读] Online Engagement with Retracted Articles: Who, When, and How?

Henry K. Dambanemuya, Rod Abhari+2 more|arXiv (Cornell University)|Mar 8, 2022

Misinformation and Its Impacts被引用 5

一句话总结

本研究通过用户类型分类与参与度指标，分析了超过3,800篇被撤回的英文期刊论文在Twitter上的互动情况，发现被撤回的论文在撤回前尤其受到公众和机器人用户的显著关注与互动。研究结果表明，非专业人士在在线传播被撤回的研究中起着核心作用，提示社交媒体平台可能有助于早期识别问题科学。

ABSTRACT

Retracted research discussed on social media can spread misinformation. Yet we lack an understanding of how retracted articles are mentioned by academic and non-academic users. This is especially relevant on Twitter due to the platform's prominent role in science communication. Here, we analyze the pre- and post-retraction differences in Twitter attention and engagement metrics for over 3,800 retracted English-language articles alongside comparable non-retracted articles. We subset these findings according to five user types detected by our supervised learning classifier: members of the public, academics, bots, science practitioners, and science communicators. We find that retracted articles receive greater user attention (tweet count) and engagement (likes, retweets, and replies) than non-retracted articles, especially among members of the public and bots, with the majority of user engagement happening before retraction. Our results highlight the prominent role of non-experts in discussions of retracted research and suggest an opportunity for social media platforms to contribute towards early detection of problematic scientific research online.

研究动机与目标

• 了解Twitter上不同用户类型与被撤回科学论文的互动情况，相较于未被撤回的论文有何差异。
• 调查被撤回的论文是否比未被撤回的论文获得更多的关注与互动，以及这种差异在不同用户类型中的表现。
• 检查互动时间与撤回事件的相关性，特别是撤回前后的互动差异。
• 考察与撤回相关的关键词内容（例如撤回原因）如何影响Twitter上的互动模式。
• 通过识别用户互动模式，为社交媒体平台设计提供建议，以支持通过用户互动模式早期检测有缺陷的科学研究。

提出的方法

• 利用Retraction Watch数据库识别3,800篇被撤回的英文期刊论文，并从相同期刊中匹配未被撤回的论文。
• 借助Altmetric和Twitter的Research API，收集每篇论文的社会媒体互动指标（推文、点赞、转发、回复）。
• 应用监督式机器学习分类器，基于用户个人资料描述，将Twitter用户分类为五类：学者、科学传播者、科学从业者、机器人和公众成员。
• 进行时间序列分析，比较不同用户类型在撤回前后的互动水平。
• 使用TF-IDF和基于关键词的分析，研究与撤回相关的内容（如“欺诈”、“数据问题”）与互动水平的相关性。
• 通过按推文数量匹配未被撤回的论文，控制论文推广的影响，以确保可见性相当。

实验结果

研究问题

• RQ1 在Twitter上，对被撤回论文的关注与互动是否与未被撤回的论文不同？
• RQ2 在Twitter上，不同用户类型对（未）被撤回论文的关注与互动有何差异？
• RQ3 在撤回前后，不同用户类型对（未）被撤回论文的互动有何不同？
• RQ4 与被撤回论文相关的不同关键词内容（如撤回原因）如何影响Twitter上的互动？

主要发现

• 被撤回的论文获得的用户关注（以推文数量衡量）和互动（点赞、转发、回复）显著高于未被撤回的论文。
• 绝大多数对被撤回论文的互动发生在撤回之前，表明关注度在撤回前阶段达到峰值。
• 公众成员和机器人用户对被撤回论文的互动水平最高，尤其体现在推文数量和转发次数方面。
• 尽管学者和科学传播者在纠正错误信息方面具有潜在作用，但其互动水平低于非学术用户。
• 对被撤回论文的互动与与撤回原因相关的关键词（如“欺诈”、“数据问题”）密切相关，表明与撤回相关的内容显著提升了可见度。
• 研究发现，像《柳叶刀》关于羟氯喹的研究这类被撤回的论文在Twitter上获得了超过29,000次提及，表明即使在撤回后，其发表后讨论的规模依然巨大。