[论文解读] Quantifying the distribution of editorial power and manuscript decision bias at the mega-journal PLOS ONE

Alexander M. Petersen|arXiv (Cornell University)|Jan 18, 2017

scientometrics and bibliometrics research参考文献 20被引用 5

一句话总结

本研究利用 PLOS ONE 过去十年的纵向数据（6,934 名编辑），量化了编辑权力不平等与决策偏见。研究发现权力高度集中——排名前10位的编辑处理了2.4%的论文（基尼指数0.583），并发现社会关系与自我引用导致显著偏见，且偏见随编辑年龄增加而加剧，表明大型期刊在科学诚信方面存在系统性风险。

ABSTRACT

We analyzed the longitudinal activity of nearly 7,000 editors at the mega-journal PLOS ONE over the 10-year period 2006-2015. Using the article-editor associations, we develop editor-specific measures of power, activity, article acceptance time, citation impact, and editorial renumeration (an analogue to self-citation). We observe remarkably high levels of power inequality among the PLOS ONE editors, with the top-10 editors responsible for 3,366 articles -- corresponding to 2.4% of the 141,986 articles we analyzed. Such high inequality levels suggest the presence of unintended incentives, which may reinforce unethical behavior in the form of decision-level biases at the editorial level. Our results indicate that editors may become apathetic in judging the quality of articles and susceptible to modes of power-driven misconduct. We used the longitudinal dimension of editor activity to develop two panel regression models which test and verify the presence of editor-level bias. In the first model we analyzed the citation impact of articles, and in the second model we modeled the decision time between an article being submitted and ultimately accepted by the editor. We focused on two variables that represent social factors that capture potential conflicts-of-interest: (i) we accounted for the social ties between editors and authors by developing a measure of repeat authorship among an editor's article set, and (ii) we accounted for the rate of citations directed towards the editor's own publications in the reference list of each article he/she oversaw. Our results indicate that these two factors play a significant role in the editorial decision process. Moreover, these two effects appear to increase with editor age, which is consistent with behavioral studies concerning the evolution of misbehavior and response to temptation in power-driven environments.

研究动机与目标

• 量化 PLOS ONE 6,934 名编辑在十年期间（2006–2015）的编辑权力分配情况。
• 调查重复作者与编辑自身作品引用等社会因素是否影响稿件决策。
• 检验编辑年龄与决策偏见的相关性，以验证权力与诱惑行为理论。
• 开发编辑薪酬的量化指标（引用影响力），并评估其影响力被滥用的潜在风险。
• 通过识别大型期刊编辑治理中的系统性风险，为科学政策提供建议，推动透明化与监督改革。

提出的方法

• 构建了一个纵向的多层级数据库，整合了141,986篇 PLOS ONE 论文的论文、编辑、作者与引用信息。
• 定义编辑专属指标：权力（处理的论文数量）、活跃度（总论文数）、接受时间、引用影响力，以及“编辑薪酬”（其负责论文中的自我引用率）。
• 采用具有编辑固定效应的面板回归模型，隔离个体层面随时间的变化趋势，并按编辑聚类论文。
• 引入两项利益冲突指标：(1) 存在重复作者（R_A,E = 1）；(2) 每篇论文中对编辑本人作品的引用率。
• 使用基尼指数（0.583）量化权力不平等，并检验编辑年龄与非线性趋势的关系。
• 通过比较存在与不存在重复作者的论文中引用率的差异，估算出引用薪酬的下限，估计可达数百篇次。

实验结果

研究问题

• RQ1 PLOS ONE 编辑之间的编辑权力分配在多大程度上不均等？与全球财富不平等水平相比如何？
• RQ2 编辑与作者之间的社会关系（通过重复作者衡量）是否显著影响稿件的接受时间或引用影响力？
• RQ3 是否存在可测量的引用模式偏见，即编辑在负责的论文中更频繁引用自己的作品？这种偏见是否随编辑年龄变化？
• RQ4 编辑年龄与决策偏见强度之间存在何种相关性？这对权力下非道德行为的演变有何启示？
• RQ5 引用模式在多大程度上可作为‘编辑薪酬’的代理指标？该效应的估计规模如何？

主要发现

• 排名前10位的编辑处理了3,366篇论文（占141,986篇的2.4%），编辑权力分配的基尼指数为0.583，表明不平等程度极高，与财富不平等水平较高的国家相当。
• 存在重复作者的论文被接受的时间显著更短，且当不存在重复作者时，其边际效应更强，表明偏见存在策略性时间安排。
• 编辑在负责的论文中更频繁引用自己的作品，且这种自我引用偏见随编辑年龄增加而加剧，支持了诱惑与权力行为模型。
• 估算出的引用薪酬效应（归因于社会关系与自我引用）下限达数百篇次，表明偏见决策可带来可测量的收益。
• 通过自我引用与同行引用实现的编辑薪酬是一种可量化的机制，编辑可能借此获得影响力，引发对大型期刊同行评审科学性的担忧。
• 结果表明，尽管编辑分配过程透明，系统性偏见依然存在，权力集中可能导致冷漠或不当行为，尤其在大规模编辑系统中。