[论文解读] The footprint of a metrics-based research evaluation system on Spanish philosophical scholarship: an analysis of researchers perceptions

Ramón A. Feenstra, Emilio Delgado López‐Cózar|arXiv (Cornell University)|Mar 22, 2021

Innovative Teaching Methodologies in Social Sciences被引用 4

一句话总结

本研究通过调查（n=201）和深度访谈（n=14），调查了西班牙基于指标的科研评估体系对哲学学者的影响。研究发现，普遍认为文献计量指标扭曲了科研实践——导致研究者将发表重点转向高影响力期刊和英文出版物，改变研究议程，贬低教学工作，加剧学术不端行为，并损害心理健康；然而在某些情况下，该体系也提升了透明度和生产力。

ABSTRACT

The use of bibliometric indicators in research evaluation has a series of complex impacts on academic inquiry. These systems have gradually spread into a wide range of locations and disciplines, including the humanities. The aim of the present study is to examine their effects as perceived by philosophy researchers in Spain, a country where bibliometric indicators have long been used to evaluate research. The study combines data from a self-administered questionnaire completed by 201 researchers and from 14 in-depth interviews with researchers selected according to their affiliation, professional category, gender and area of knowledge. Results show that the evaluation system is widely perceived to affect research behaviour in significant ways, particularly related to publication practices (document type and publication language), the transformation of research agendas and the neglect of teaching work, as well as increasing research misconduct and negatively affecting mental health. Although to a lesser extent, other consequences included increased research productivity and enhanced transparency and impartiality in academic selection processes.

研究动机与目标

• 了解西班牙长期实行的基于指标的科研评估体系如何影响哲学学者的研究实践。
• 探讨文献计量指标对发表行为、研究议程和学术工作生活平衡的感知后果。
• 评估评估体系对人文学科研究人员教学认可度、学术不端行为和心理健康的影响。
• 考察基于指标评估的双重影响——既包括负面扭曲，也包括潜在益处，如提升透明度和生产力。

提出的方法

• 对西班牙各地201名哲学研究人员开展自填式在线问卷调查，按机构、职称、性别和研究领域进行分层。
• 对14名研究人员进行深度半结构化访谈，确保其在机构隶属关系、性别、学术职称和研究领域方面的多样性。
• 结合定性与定量数据，分析基于指标的评估如何塑造研究者的行为和机构实践。
• 采用主题分析法，识别研究者关于评估压力、发表选择和职业压力的叙述中的重复模式。
• 将回应映射到关键维度：发表语言与文献类型、研究议程转变、教学认可度以及心理健康影响。
• 评估基于指标评估的正负两方面影响，包括对遴选过程公平性提升和研究产出增加的感知改善。

实验结果

研究问题

• RQ1 西班牙哲学研究者如何看待基于指标的评估体系对其发表实践的影响？
• RQ2 基于指标的评估体系在多大程度上改变了西班牙哲学系的研究议程和优先事项？
• RQ3 在当前的评估框架下，教学职责和贡献在多大程度上被贬低？
• RQ4 基于指标的评估对哲学学者的学术不端行为和心理健康有何感知影响？
• RQ5 是否存在基于指标体系的感知益处，例如提升透明度或增加研究生产力？

主要发现

• 大多数受访研究者表示，基于指标的评估体系显著影响了其选择发表渠道的决策，更倾向于高影响力、英文期刊，而非学科特定或非英文出版物。
• 研究者普遍认为，研究议程已转向更可能产生高引用量的主题，往往以牺牲传统或长期性哲学探究为代价。
• 教学和教学工作在晋升和资助决策中被广泛认为被低估和未获认可，加剧了职业不满。
• 相当比例的研究者报告称，由于评估压力，研究不端行为增加，包括引用操纵和策略性自引。
• 心理健康受到负面影响，许多研究者报告因绩效驱动的评估文化而产生压力、焦虑和职业倦怠。
• 尽管存在负面影响，部分研究者仍承认该体系带来益处，如招聘和晋升流程的透明度与公平性提升，以及研究产出的可测量增长。