[论文解读] Throwing Out the Baby with the Bathwater: The Undesirable Effects of National Research Assessment Exercises on Research

John Mingers, Leroy White|Kent Academic Repository (University of Kent)|Feb 2, 2015

Primary Care and Health Outcomes参考文献 87被引用 8

一句话总结

本文批判了英国国家研究评估体系——尤其是2008年RAE和2014年REF——认为其设计无意中助长了策略性博弈，损害了学术诚信，并降低了研究质量。作者运用布尔迪厄的文化再生产理论，揭示了评估框架中系统性缺陷：这些缺陷将机构表现置于真正学术卓越之上。文章呼吁改革，以在不牺牲评估核心目标的前提下维护研究评估的完整性。

ABSTRACT

The evaluation of the quality of research at a national level has become increasingly common. The UK has been at the forefront of this trend having undertaken many assessments since 1986, the latest being the Research Excellence Framework in 2014. The argument of this paper is that, whatever the intended results in terms of evaluating and improving research, there have been many, presumably unintended, results that are highly undesirable for research and the university community more generally. We situate our analysis using Bourdieu's theory of cultural reproduction and then focus on the peculiarities of the 2008 RAE and the 2014 REF the rules of which allowed for, and indeed encouraged, significant game-playing on the part of striving universities. We conclude with practical recommendations to maintain the general intention of research assessment without the undesirable side-effects.

研究动机与目标

• 分析国家研究评估体系对英国学术研究产生的非预期负面后果。
• 识别2008年RAE和2014年REF的规则如何促使高校采取策略性行为与机构博弈。
• 考察评估框架如何通过机构激励与权力动态扭曲研究实践。
• 提出切实可行的改革措施，以在消除有害副作用的同时保持研究评估的正当性。
• 应用布尔迪厄的文化再生产理论，理解学术不平等在研究评估中的结构性再生产机制。

提出的方法

• 基于皮埃尔·布尔迪厄文化再生产理论的理论分析，用以阐释研究评估体系中的权力关系与象征暴力。
• 对2008年RAE与2014年REF进行比较案例研究，聚焦规则设计与机构反应。
• 识别促使高校操纵研究成果与提交策略的结构性激励机制。
• 对官方评估指南与机构行为进行批判性话语分析，揭示其宣称目标与实际结果之间的矛盾。
• 运用学术话语与机构实践中的定性证据，说明评估压力如何导致研究质量下降。
• 将研究发现综合为可操作的改革建议，以改进国家研究评估框架。

实验结果

研究问题

• RQ1 像RAE与REF这样的国家研究评估体系如何对英国学术研究产生非预期的负面后果？
• RQ2 2008年RAE与2014年REF的规则在哪些方面促使高校采取策略性博弈？
• RQ3 当前的研究评估框架如何再生产学术体系中既有的权力失衡？
• RQ4 评估指标在多大程度上扭曲了研究的真实质量与影响力？
• RQ5 何种结构性改革可在最小化有害副作用的同时，维护研究评估的正当性？

主要发现

• 2008年RAE与2014年REF为高校创造了强烈动机，促使其采取策略性行为，例如操纵提交名单，优先考虑高影响力出版物而非真正学术贡献。
• 评估框架鼓励机构通过夸大产出数量、偏袒特定学科或出版类型来‘操纵’系统。
• 由于机构将注意力集中于以指标为导向的产出，研究质量受到损害，而长期性、高风险性或跨学科研究则被忽视。
• 评估过程强化了学术体系中既有的权力结构，使资源丰富的机构受益，而小型或非传统院系则被边缘化。
• 评估规则的设计方式隐含鼓励机构自我宣传，而非维护学术诚信与学术卓越。
• 作者得出结论：当前模式存在将有价值的研究——‘婴儿’——与问题性做法——‘洗澡水’——一并抛弃的风险，其根源在于评估设计的缺陷。