[论文解读] Tweets as impact indicators: Examining the implications of automated bot accounts on Twitter

Stefanie Haustein, Timothy D. Bowman+4 more|arXiv (Cornell University)|Oct 15, 2014

scientometrics and bibliometrics research被引用 23

一句话总结

本文研究了自动化 Twitter 机器人如何通过分析其传播 arXiv 预印本的行为，影响替代计量指标。研究发现，机器人生成了大量微博，但互动极少，引发了人们对原始微博数量作为学术评价中影响力指标可靠性的担忧。

ABSTRACT

This brief communication presents preliminary findings on automated Twitter accounts distributing links to scientific papers deposited on the preprint repository arXiv. It discusses the implication of the presence of such bots from the perspective of social media metrics (altmetrics), where mentions of scholarly documents on Twitter have been suggested as a means of measuring impact that is both broader and timelier than citations. We present preliminary findings that automated Twitter accounts create a considerable amount of tweets to scientific papers and that they behave differently than common social bots, which has critical implications for the use of raw tweet counts in research evaluation and assessment. We discuss some definitions of Twitter cyborgs and bots in scholarly communication and propose differentiating between different levels of engagement from tweeting only bibliographic information to discussing or commenting on the content of a paper.

研究动机与目标

• 评估自动化机器人在推广学术论文方面于 Twitter 上活动的广度与性质。
• 评估机器人生成的微博对替代计量指标的影响，特别是其在衡量学术影响力方面的意义。
• 区分机器人账户在互动层次上的差异，例如仅分享书目数据与讨论内容之间的区别。
• 挑战所有微博均等同于有意义的学术关注这一假设，尤其是在科研评价中。
• 提出适用于学术传播语境中机器人与半机械人（cyborgs）的更精确定义与分类体系。

提出的方法

• 在特定时间段内收集并分析了与 arXiv 预印本相关的微博样本。
• 基于行为模式（如高频率发帖、内容重复、缺乏互动）识别自动化机器人账户。
• 将机器人活动划分为不同层级：从仅重复转发书目元数据，到更复杂的对论文内容的互动。
• 使用统计分析方法，比较机器人与人类用户在发帖时间、数量及互动指标方面的行为差异。
• 应用自然语言处理技术，评估微博的语义内容，识别非人类行为模式。
• 提出机器人参与程度的分类体系，以区分被动分享与主动学术评论。

实验结果

研究问题

• RQ1 自动化 Twitter 机器人在多大程度上增加了提及 arXiv 上科学论文的微博总量？
• RQ2 这些机器人的行为模式与典型社交媒体机器人或人类用户有何不同？
• RQ3 机器人生成的微博对替代计量指标作为影响力指标的有效性有何影响？
• RQ4 我们如何区分低水平机器人活动（如转发元数据）与高水平互动（如内容评论）？
• RQ5 在学术传播语境中，哪些机器人与半机械人的定义和分类最为恰当？

主要发现

• 自动化 Twitter 机器人生成了大量与 arXiv 预印本相关的微博，显著提高了整体微博数量。
• 机器人活动的特点是高频次发布相同或几乎相同的消息，通常仅限于书目元数据，缺乏内容评论。
• 这些机器人与他人互动极少，例如缺乏回复、点赞或引用转发，从而与人类用户形成明显区别。
• 机器人的存在削弱了原始微博数量作为学术关注或影响力代理指标的可靠性。
• 在仅分享链接的机器人与参与内容互动的机器人之间存在明显差异，表明在替代计量指标中需要更细致的分类。
• 本研究强调了迫切需要开发方法以过滤或分类机器人生成的活动，以提升社交媒体影响力指标的有效性。