[论文解读] Quality indicators for scientific journals based on experts opinion

Elea Giménez‐Toledo, Jorge Mañana-Rodríguez+1 more|arXiv (Cornell University)|Jul 4, 2013

Psychology Research and Bibliometrics参考文献 14被引用 3

一句话总结

本研究基于5,368名西班牙人文与社会科学领域研究人员的专家评级，开发了两项科学期刊质量指标。通过收集专家对期刊质量在0–10分制下的评估并分析共识，作者构建了反映感知质量的指标，实现了期刊的分类，并揭示了区域聚焦等独特特征。

ABSTRACT

This paper presents the results and further development of a survey sent to 11,799 Spanish faculty members and researchers from various fields of the social sciences and the humanities, obtaining a total of 45.6% (5,368 responses) usable answers. Respondents were asked (a) to indicate the three most important journals in their field and (b) to rate them on a 0-10 scale according to their quality. The information obtained has been synthesized in two indicators which reflect the perceived quality of journals. Once the values were obtained, the journals were categorized according to each indicator and the ordinal positions were compared. Different profiles of journals are analyzed in connection with experts opinion, such as regional orientation, and the consensus among researchers is studied. Finally, the possibilities of extending the research and indicators to sets of international journals are explored.

研究动机与目标

• 识别并量化人文与社会科学领域专家对期刊质量的感知。
• 基于专家评级开发两项新颖的质量指标，以反映期刊的感知质量。
• 基于专家共识分析期刊特征，包括区域定位与学科一致性。
• 探讨将该方法扩展至国际期刊集合的可行性。

提出的方法

• 向人文与社会科学领域内11,799名西班牙高校教师与研究人员发放调查问卷。
• 受访者被要求识别其所在领域中最重要的三本期刊，并对每本期刊在0–10分的质量量表上进行评分。
• 将回应结果聚合，计算出两项反映专家共识与感知质量的质量指标。
• 根据每项指标对期刊进行排名与分类，并比较其序位以识别一致性。
• 分析中包括按区域聚焦、学科一致性等特征对期刊进行特征描述。
• 本研究评估了将该方法扩展至国际期刊集合的潜力。

实验结果

研究问题

• RQ1 根据专家意见，人文与社会科学不同领域中哪些期刊最受推崇？
• RQ2 专家在不同学科中对期刊质量的共识程度如何？
• RQ3 当期刊依据基于专家的质量指标进行分类时，会浮现哪些特征？
• RQ4 专家意见在多大程度上可系统性聚合为可靠的质量指标？
• RQ5 该方法能否扩展用于评估国际科学期刊的质量？

主要发现

• 调查获得了45.6%的回应率，共收集到5,368份来自西班牙研究人员的有效回应。
• 基于专家评级成功开发了两项质量指标，反映了期刊的感知质量。
• 研究人员在其各自领域内对顶尖期刊达成了强烈共识。
• 具有区域聚焦特征的期刊在其所在区域的专家中持续获得高度评价。
• 两项指标所导出的序位排名表现出显著相关性，表明其可靠性。
• 该方法显示出扩展至国际期刊评估框架的潜力。