与第三方评估指标体系的对标——基于第四轮学科评估的实证研究

•“双一流”建设•与第三方评估指标体系的对标——基于第四轮学科评估的实证研究仇鸿伟唐灿#摘要：教育部学位与研究生教育发展中心于2017年12月28日公布第四轮学科评估结果，并对本轮评估进行了多方面解读，其中公布的指标体系具有重要研究价值。本文将目前国内外影响力较大的第三方评估所用指标体系进行归类，通过与第四轮学科评估所用指标体系进行对比分析，从而为未来的“双一流”评估提供参考。关键词：第三方评估学科评估“双一流”高校高等教育在一个国家、一个社会的发展历程中，起着至关重要的作用。如何保障高等教育的质量、保证高等教育可持续发展，是关乎中华民族伟大复兴的重大课题。因此，对从事高等教育的院校、科研机构进行科学合理、公开公正的评估，亦是题中之义。高等教育评估的类型，按不同分类标准，大致分为学科/专业评估、院校评估、教师/教学评估、学生评估、项目评估、自我评估（自评）、同行评估（互评）、第三方评估等，评估结果一般作为高校等学术机构质量改进、同行交流的依据和资金划拨、社会赞助、学生志愿填报的参考等。评估的重要性不言而喻，而关乎评估是否权威、是否客观公正、是否具有广泛的认可度，其所采用的评估指标体系是重要一环。只有具备相对科学合理的指标体系，才能据此实施评估，得出的评估结果才能令人信服。根据《统筹推进世界一流大学和一流学科建设总体方案》（以下简称《总体方案》）、《统筹推进世界一流大学和一流学科建设实施办法（暂行）》（以下简称《实施办法》），教育部遴选“双一流”高校名单、确认入选标准时，除了依托专家委员会的意见、照顾政策连续性、通盘考虑国家战略布局，另一个重要参考依据就是第三**仇鸿伟，男，山东牟平人，对外经济贸易大学学科建设办公室主任，研究员；唐灿，男，安徽合肥人，对外经济贸易大学学科建设办公室实习研究员。—74—与第三方评估指标体系的对标方评估体系，综合考虑有关第三方评价的权威性、影响力及高校认可度，论证确定采用的第三方评价结果。在建设过程中、建设期末，将根据各高校的建设方案和自评报告，参考有影响力的第三方评价，对各高校建设成效进行综合评价。国际、国内现有第三方评估种类繁多，不可能完全拘泥于某一特定评价体系，但如果在任何一类第三方评估里都没有突出表现，也是无法跻身“双一流”建设名单、无法长期保持在一流学科乃至一流大学建设行列中的。因此，对国内外有影响力的第三方评估及其指标体系进行分析、归类，将有助于目前各高校推进的学科建设。教育部学位与研究生教育发展中心近期公布了第四轮学科评估结果。本轮评估于2016年在95个一级学科范围内开展（不含军事学门类等16个学科），共有513家单位的7449个学科参评。学位中心在评估前广泛深人一线调研，征求高校及地方教育主管部门关于学科评估指标体系意见，同时对毕业生质量指标、师资队伍评价指标等具体评价指标，又集中开展专项调研，听取专家学者建议。经过反复研讨、论证，最终形成本轮学科评估的三级指标体系。应该说，第四轮学科评估指标体系，来源广泛、论证充分，是经得起时间检验的。我们相信，本轮学科评估会对2020年将要开展的“双一流”验收评估，起到先行、引导作用。一第三方评估的指标体系归类国际第三方评估主要来自不同的学术机构、媒体、商业公司等，它们试图以相对客观的评估方案和指标体系进行大学排名，从而展现一流大学和一流学科的主要特征，扮演了第三方评估的角色。例如教育组织夸夸雷利•西蒙兹公司（QuacquarelliSymonds,QS)、英国的《泰晤士报》高等教育副刊（TimesHigherEducation,THE)、《美国新闻与世界报道》（U.S.News&WorldReport,USNews),以及爱思唯尔集团、汤森路透公司提供的数据库排名。而国内第三方评估主要包括上海软科教育信息咨询有限公司（简称“上海软科”）的大学/学科评估、武汉大学中国科学评价研究中心（简称“RCCSE”）系统、[1]中国校友会网的《中国大学评价研究报告》、中国管理科学研究院的《中国大学评价》（武书连）、麦可思就业评估等，所用指标体系各有不同。本文将这些排名均视为第三方评估。本文根据不同的第三方评估所采用的指标类型及其权重大小，拟将所有评估划分成声誉型评估、客观型评估与均衡型评估三类。(_)声誉型评估声誉型评估®最典型的代表，就是QS评估，包括QS世界大学排名、QS世界大学学科/专业排名、QS金砖国家等地区排名。QS学科评估按生命科学、艺术与人文、临床医学与健康、社会科学、物理学5个学科领域设定了分科评估指标，与其大学评—75—高等教育评论（2018年第1期第6卷)估指标相同。使用的数据来自Elsevier/Scopus数据库，并结合针对学者与雇主的调查。QS评估指标及权重主要包括“同行声誉”（40%)、“雇主声誉”（10%)、“教师人均论文被引数”（20%)、“师生比”（20%)、“国际学生比”（5%)、“国际教师比”（5%)。其中，“同行声誉”与“雇主声誉”也被称为“学术评价”与“雇主评价”，是一类主观评价®，而这种主观的“声誉”，被QS视为大学排名中最重要的指标，其总权重达到50%。“同行评价”得分来自同行评议人@的评审统计结果，一般是要求学者们选出近三年内在其研究领域表现最优秀的高校（不含本人供职单位）；“雇主评价”得分来自全球或重要国家招聘毕业生的雇主反馈，一般是要求雇主选出他们认为能够培养出最优秀毕业生的大学。这种评价指标较综合，注重人才培养质量，评估导向较符合传统大学理念，其理念有着深厚的历史渊源。THE评估原与QS合作，2004年各自推出排名。二者评估指标体系较接近，学科分类基本一致，数据来源同为Elsevier/Scopus数据库，THE针对英国国内院校的排名，更加偏重为本土的髙中生及其家长申请大学提供服务，与世界大学注重科研、学术的指标体系有所不同，四个一级指标分为“资源”、“雇佣”、“产出”和“环境”，©细分的二级指标里学术声誉比重下降至1〇%，而关乎职业发展的“雇佣”指标（也是一类声誉指标）权重则达到20%。简言之，英国高校在和国际同行比较的时候，比的是学术、科研水平和教学条件；在和国内竞争对手比较的时候，比的是就业、学校对学生的财政投入（奖学金、助学贷款等）和毕业生的薪资收入。还有一类重要评估，USNews的研究生院评估，分商科、教育、工程、法律、医学、护理6个专业学院排名。因按学科设置，国内一般视作学科评估。该评估只针对美国国内高校，以法律学科/法学院为例，其指标及权重如表1所示。表1USNews法学院评估指标及权重一级指标—■级指标权重（％)质量评价同行评价25律师及法官评价15学生选择LSAT和GRE成绩中值12.5本科生GPA中值10申请率2.5职业成就毕业当期就业率4延期就业率14律师执业考试通过率2教学条件学生平均支出11.25师生比3图书资源0.75—76—与第三方评估指标体系的对标两类声誉评价，权重之和达到40%,也是典型的声誉型评估。(二）客观型评估完全没有声誉指标、完全剔除人为因素，比如上海软科排名。其世界大学学术排名（ARWU)起自2003年，指标及权重如表2所示。表2上海软科世界大学学术排名评估指标及权重一级指标二级指标代码权重（％)教育质量获诺贝尔奖和菲尔兹奖的校友折合数Alumni10教师质量获诺贝尔科学奖和菲尔兹奖的教师折合数Award20各学科领域被引用次数最高的科学家数量HiCi20科研成果在《Nature》和《Science》上发表论文的折合数N&S20SCIE和SSCI收录论文数量PUB20师均表现上述五项指标得分的师均值PGP10上海软科的世界一流学科排名起自2007年，学科领域有自然科学与数学（简称“理科”）、工程/技术与计算机科学（简称“工科”）、生命科学与农学（简称“生科”）、临床医学与药学（简称“医科”）、社会科学（简称“社科”），五大学科领域的指标权重与世界大学学术排名基本一致，排名方法客观稳定，不做赘述。针对国内高校与学科，上海软科也制定了一套中国标准。其“中国最好大学”和“中国最好学科”排名，起自2015年。评估体系采用最能体现国内大学办学水平的关键指标，选择了科研规模、科研质量、顶尖成果、顶尖人才、科技服务、成果转化、生源质量、培养结果、学生国际化这9项，不依赖学校内部的统计部门，完全从外部来划分各高校的学科层面的数据，不仅详细说明各项指标的统计方法和数据来源，而且直接公布各项测量指标的原始数据，方便其他研究者核实验证和做个性化分析，做法最为透明。另一重要的客观型评估，来自基本科学指标数据库（EssentialScienceIndicators,ESI)。2012年第四轮学科评估时，教育部学位中心第一次将其纳人学科评估指标体系，引起了国内髙校的高度重视。[2]因其具有机构发表学术成果情况排名等，很多学校将其视作评估系统。ESI按22个学科对论文数、论文被引频次、论文篇均被引频次、高被引论文、热点论文和前沿论文等6个方面进行统计，从各个角度对国家科研水平、机构学术声誉、科学家学术影响力以及期刊学术水平进行全面排序，核心就是“绩效”。ESI对全球高校及机构的SCIE、SSCI库中近11年的论文数据进行统计，按被引频次的高低确定出衡量研究绩效的阈值，分别排出居世界前1%的研究机构、科学家、研究论文，居世界前50%的国家/地区和居前0.1%的热点论文。目前，一流大—77—高等教育评论（2018年第1期第6卷)学建设高校、理工类学科，以冲击ESI前0.1%为主。[3]—流学科建设高校、人文社科类学科，力争进入ESI前1%。未进入ESI排名的院校、学科，可借助其InCites数据库进行定量分析，内嵌的客观指标种类更多，基本覆盖现有科研指标体系，便于相关人员开展研究。(三）均衡型评估均衡型评估相对于声誉型评估而言，有声誉指标但严格限制种类，比重较小，如USNews的世界大学排名。随着高等教育的全球化，USNews亦推出了相应的国家/地区排名。该评估使用的数据库为科睿唯安公司旗下的InCites和WebofScience,学科排名的22个学科领域划分来自基本科学指标数据库ESI的分类标准。2017年USNews世界大学评估指标体系及权重如表3所示。表3USNews世界大学评估指标体系及权重一级指标—■级指标权重（％)全球学术声誉12.5地区学术声誉12.5文献计量指标论文发表10书籍出版2.5学术会议2.5引用影响10总引用率7.5引用率前10%论文数12.5引用率前10%论文占比10国际合作10高水平研究，高被引论文数“5高被引论文占比“#5注：*2015年USNews该项指标为“人才培养”，2016年起改为现指标，下同。**2015年USNews该项指标为“授予博士学位数”。***2〇15年USNews该项指标为“教师培养博士数”，以上详见USNews官网，该类型评估力求均衡。声誉指标约占25%，客观指标约占75%。同时，声誉评估仅集中在学术领域，不涉及雇主就业。[4]另外，THE的大学排名、专业/学科排名，分为“教学”、“研究”、“引文”、“国际化”和“产业收人”五个一级指标，其声誉评估指标（即声誉调查）集中在教学和科研两方面，前者权重15%，后者18%,合计33%,不涉及就业。综上所述，前述声誉型评估，其“声誉是让同行、雇主根据个人经验喜好来做判断，因其依靠个人的主观因素太大”，知名度高的大学往往占优，其评估的主观性、公正性受到质疑。纯客观评估固然杜绝人为干预，但不可避免地缺少同行反馈，—78—与第三方评估指标体系的对标有学者提出高被引论文等算法是由公司内部制定的，合理性有待商榷。均衡型评估则明确把雇主评价剔除，客观上降低了主观因素，但其覆盖的指标体系也因而不够完整。事实上，每种评估及其指标体系，在一定前提下是合理的，同时也都存在着一定程度的局限性。还有欧洲大学协会的院校评估（InstitutionalEvaluationProgramme,ffiP)、英国《金融时报》的专业排名（Finan