英国2021年研究卓越框架（REF）评估结果公布

毕建宏[*]

英国的高等教育科研拨款体系很有特色。英国政府通过“双重支持”（dual support）体系对高等教育机构（HEIs）的研究提供拨款，资金通过两种途径提供，并且有着不同的目的：一是英格兰研究（Research England，RE）[1]提供的经常性研究拨款，用于支付固定学术人员薪资及校舍、图书馆、中央计算等方面的费用，支持高等教育机构开展基础研究和“蓝天”研究，并资助新的研究人员的训练成本；二是七大学科研究理事会（research councils）为高等教育机构的特定研究项目或计划提供的竞争性科研资助。英格兰研究为高等教育机构提供的经常性研究拨款根据不同学科领域的研究质量、研究量和相对成本来分配。其中，研究质量根据定期进行的研究卓越框架（REF）来进行评估，经常性研究拨款因此也被称为质量相关（quality-related ,QR）研究拨款。[2]

2022年5月12日，英国公布了最新的研究卓越框架（REF 2021）评估结果，该结果将成为2022-2023年后英国政府向高等教育机构拨付研究经费的主要依据。

一、REF 简介[3]

REF是英国高等教育机构研究质量评估系统，于2014年首次实施，取代了先前的研究评估考核（ Research Assessment Exercise, RAE）。

REF展示了英国大学研究在质量和产出方面在国内和国际舞台上的地位。同样重要的是，REF还展示了大学研究对社会的真正影响，强调了研究给现实世界带来的利益。

REF由英国四个高等教育拨款机构联合组织实施。REF由代表四个拨款机构的REF小组（设在英格兰研究）管理，并由REF指导小组监督，该指导小组由四个拨款机构的代表组成。

四个英国高等教育拨款机构使用REF评估结果来分配每年大约20亿英镑的公共研究资金。REF对评估期间所投入的公共研究资金进行问责，并提供关键的效益证据。REF的作用还包括：与同行高等教育机构和学系（departments）建立基准和声誉标准；为大学的战略决策提供信息；为高等教育机构吸引优秀的研究人员和研究生等。

二、REF 2021总体结果（Overall results）[4]

英国2021年研究卓越框架（REF）评估结果展示了一幅大学世界领先水平研究产出的全国图景。评估第一次将负有重大研究责任的所有研究人员都包括在内，这使得研究工作纳入审查的研究人员数比以前的REF增加了46%。结果显示，不同大学的表现都很强劲——四分之三的大学有超过15%的研究活动被认为是世界领先的，前四分之一的大学至少有41%的研究活动被认为是世界领先的。总体来看，所提交的研究活动超过80%是世界领先或国际优秀的。

1. 卓越的研究产出

共有157所英国大学提交了185594份研究产出。 在四个主专家组（Main panel）的指导下，34个子专家组（expert sub-panels）审查了这些产出，结论是：

· 36%的产出被评为世界领先（4星）

· 47%被评为国际优秀（3星）

· 15%获得国际认可（2星）

· 2%获得国内认可（1星）

自上一届REF以来，提交规则的变化使大学能够展示更多世界领先的研究。所有类型和形式的研究都有卓越的产出，包括跨学科研究。

2. 出色的研究影响证据

REF的一个重要方面是阐明研究在学术界之外所带来的好处，包括它如何给社会和生活的各个方面带来切实的变化，以及它所带来的公共价值。有一点是明确的，那就是研究继续在一个非常高的水平上产生影响。 220名外部研究用户（external users of research）[5]与学术成员合作，评估了所有案例研究的影响：

· 50%的影响被评为优秀（4星）

· 38%被评为非常可观（3星）

· 11%被评为相当可观（2星）

· 2%被评为认可，但影响不大（1星）

这些案例研究反映了大学与广泛的公共、私营和第三部门组织以及公众的富有成效的合作，从而带来了各种各样的利益。

3. 支持世界领先研究和有利影响的环境

专家小组对研究环境的评估显示，提交的研究人员有一半（50%）在有利于产生世界领先质量和具有突出影响的研究环境中工作（4星级）。还有37%的研究人员在那些有助于产生国际优秀质量的研究并产生非常可观影响的环境中工作。在2013年到2020年期间，高等教育机构研究收入共计460亿英镑，授予研究学位数达16.2万个。

三、REF 2021简要概述[6]

REF是一个基于学科的专家评审过程。REF 2021共有157所英国高等教育机构参与评估，提交了34个学科评估单元（UOA）[7]的材料，涵盖了所有研究学科。由专家小组对高等教育机构提交的研究材料进行评估，专家组由900名学者组成，其中包括38名国际成员和220名研究用户。专家小组为每一份研究材料都编制了总体质量概况（overall quality profile）。 每一份总体质量概况显示了由评审小组判断的达到四个星级质量水平的研究活动的比例。

高等教育机构提交的每份特定学科评估单元（UOA）材料都被称为提交单元（a submitting unit）。高等教育机构总共提交了1878份资料，其中包括了76132名全时当量研究人员（FTE staff）。高等教育机构提交资料的规模和范围小到只有一个UOA的4名全时当量研究人员，大到有30个UOA的3000多名全时当量研究人员。

高等教育机构提交的每份UOA的资料都包含一组与三个要素有关的标准信息：研究产出、研究影响和研究环境。每份资料都要根据这三个要素进行评估，这三个要素的评估结果按照不同的权重综合起来形成总体质量概况。 评估的三个要素是：

· 研究产出的质量

· 研究影响的质量

· 支持研究和影响的环境的质量

1. 研究产出

产出是发表的或公开可获得的研究产品，可以有多种形式。 包括书籍、专著、书籍章节和期刊论文，以及表演、展览和其他实践研究成果、软件、专利、会议论文集、翻译和数字及视觉媒体。

研究产出占每份提交资料总评估结果的60%，并根据三个标准进行评估：原创性、重要性和严谨性（rigour）。由专家对产出进行评估。一些评审小组在评估中会考虑产出的引用情况。

REF 2021共收到185594项产出。每个提交单元必须提交的产出数量等于其提交研究人员全时当量数（FTE of submitted staff）的2.5倍。在提交的材料中每名研究人员必须至少有一项且不超过五项研究产出。 就REF 2021而言，为了满足提交所需研究产出的总数，高等教育机构也可以提交已离开机构的前研究人员的研究产出，只要该产出在前研究人员被提交资料的高等教育机构在合格的基础上聘用时已被公开。

2. 研究的社会、经济与文化影响

REF 2021将影响定义为在学术之外，对经济、社会、文化、公共政策或服务、卫生、环境或生活质量产生的影响、改变或好处。

高等教育机构须提交影响案例研究，证明其研究对学术界以外的领域产生的影响。 每个提交单元必须提交的影响案例研究的数量是根据该单元内提交的研究人员全时当量计算的，最小的单元至少需要提交两份影响案例研究。 高等教育机构共向REF 2021提交了6781份影响案例研究。每个案例研究都是一份5页的文件，详细说明在设定的时间范围内所产生的影响。研究影响需要以提交单元自2000年1月1日以来所产出的高质量研究为基础。

研究影响占每份提交资料总评估结果的25%。影响案例研究根据两个标准进行评估：影响范围（reach）和意义（significance）。

3. 研究环境

在REF 2021中，“环境”是指每个提交单元中支持研究和产生影响的环境。 环境因素占每份提交资料总评估结果的15%，根据两个标准进行评估：活力（vitality）和可持续性，重点是支持研究并产生影响的战略、资源和基础设施。

每份提交资料包括：（1）一份报告，详细说明提交单元的：背景和结构、研究和影响战略；人员；收入、基础设施和设备；以及对研究基础、经济和社会的协作与贡献。（2）REF期间的统计数据，包括：研究收入；研究型博士学位授予数量。这些数据均来自高等教育统计局（HESA）统计数据。

此外，高等教育机构亦须提交一份院校层次的环境报告（大学支持研究和产生影响的整体战略和资源方面的信息），作为院校环境评估试点工作的一部分。 这些院校层面的报告被评估小组用来作为评估时的参考，但评估小组不会就院校层次的环境内容进行打分。 院校层次环境试点小组正在单独试行一项对院校层次环境报告的独立评估。

REF 2021要求高等教育机构提交所有负有重大研究责任的人员，并可以选择如何将研究人员匹配到学科评估单元（UOAs）中。

图1 REF 2021评估的三个要素

四、与REF 2014的关键区别[8]

REF 2021与REF 2014的主要区别包括：

1. 不同于REF 2014中高等教育机构可以选择性提交研究人员，REF 2021要求提交所有对研究负有重大责任的研究人员参与评估，因此，提交的研究人员数与REF 2014相比增加了46%。

2. 对每个研究人员的产出要求更灵活，即每个提交的研究人员至少有一项研究产出，且不超过五项。相比之下，REF 2014要求所有提交的研究人员必须要有四项研究产出。

3. 允许高等教育机构提交前研究人员的研究产出，只要这些产出是研究人员受雇于该高等教育机构时首次公开的。

4. 研究影响的权重从20%增加到25%（研究产出要素的权重从65%下降到60%）。REF 2021仅根据高等教育机构提交的影响案例研究对研究影响进行评估，而将产生影响的环境相关信息纳入到环境说明中。

5. 将REF 2014的36个学科评估单元（UOAs）减少为34个，并且对部分评估单元的学科构成有所调整。

五、REF 2021评估结果——质量概况

REF的评估结果以质量概况的方式提供，公布各高等教育机构的不同学科评估单元（UOA）提交资料的评估结果。在每个学科评估单元内，提交院校按照字母顺序排列。REF团队和英国高等教育拨款机构不会根据REF结果进行院校的整体排名。[9]

下面以剑桥大学为例，了解一下该校每个学科评估单元的总体质量概况。

表1 REF 2021评估结果中剑桥大学各学科评估单元的总体质量概况

数据来源：table REF 2021 Results - All - 2022-05-06. https://results2021.ref.ac.uk/.

REF 2021对高等教育机构的每个学科评估单元给出的总体质量概况评估结果是在对研究产出、研究影响和研究环境三个要素分别进行评估，然后根据三个要素所占权重综合评估得出的。表2以剑桥大学的临床医学为例，分别显示其总体质量概况以及研究产出、研究影响、研究环境的质量概况。

表2 REF 2021剑桥大学临床医学的质量概况

数据来源：table REF 2021 Results - All - 2022-05-06. https://results2021.ref.ac.uk/.

六、以REF评估结果为依据的质量相关（QR）研究拨款[10]

REF 2021评估结果将作为2022-2023年后英国政府向高等教育机构拨付研究经费的主要依据，目前的拨款还是按REF 2014年评估结果进行分配。本节以英格兰研究对高等教育机构的经常性研究拨款方式为例，看一下英国高等教育拨款机构是如何根据REF 2014评估结果来对高等教育机构分配研究经费的。经常性研究拨款也被称为质量相关（QR）研究拨款，其中三分之二是主流质量相关（QR）拨款[11]，根据不同学科领域的研究质量、研究量和相对研究成本进行分配。其分配分为以下四个步骤（见图2）。

步骤1和步骤2：将主流质量相关（QR）拨款总额根据研究质量、研究影响和研究环境三个要素的权重（分别是65%、20%和15%）分为三部分；然后将每部分经费按照每个学科大组（main panels）在REF评估中达到或超过3星质量等级的研究量的占比分配到四个REF学科大组中，并根据不同学科的相对研究成本进行加权。

表3 学科成本权重

来源：https://www.ukri.org/wp-content/uploads/2021/08/RE-06082021-RE-How-we-fund-HEPs-FINAL.pdf.

步骤3和步骤4：将每个学科大组的经费先分配到36个学科评估单元（UOAs）中，最后将每个学科评估单元（UOA）中的经费分配到高等教育机构中。分配依据都是达到REF评估3星和4星质量等级的研究活动量的占比，再乘以质量权重（4星权重为4，3星权重为1，其他水平权重为0）和成本权重。

表4 研究拨款质量权重

来源：https://www.ukri.org/wp-content/uploads/2021/08/RE-06082021-RE-How-we-fund-HEPs-FINAL.pdf.

步骤3和步骤4，对每个质量等级的研究量进行质量加权，为的是确保研究拨款的高度选择性。

图2 主流质量相关（QR）拨款的四个步骤

注：拨款数额仅供说明之用。

来源：https://www.ukri.org/wp-content/uploads/2021/08/RE-06082021-RE-How-we-fund-HEPs-FINAL.pdf.

---