第四章-制定教育评价表的一般方法和步骤

制定教育评价表的一般方法和步骤第一节教育评价表概述第二节制定教育评价表的一般方法和步骤一、教育评价表的类型概括性问题教育评价表指标结构性教育评价表（一）概括性问题教育评价表所谓概括性问题教育评价表，是根据评价目标概括提出一系列问题加以系统了解的评价表式。（一）概括性问题教育评价表例4-1：针对学生的语文课外阅读进行评价，课任教师可以概括提出如下一些问题：(1)本学期课外阅读的主要书目有哪些？(2)每个星期安排多少时间用于课外阅读？(3)阅读过程采用哪些措施来提高学习效果？(4)对阅读感兴趣或不感兴趣的理由是什么？(5)你认为怎样可以提高课外阅读的效果？(6)推荐一本你认为很有价值的课外阅读书目。(7)课外阅读能否促进语文课程学习？(8)近期语文单元测验成绩有何变化？(9)在课外阅读方面你对同学还有什么好的建议？(10)在课外阅读方面你需要什么帮助？（一）概括性问题教育评价表优势：1、效度高；2、所提出的问题具有针对性，在形成性评价中，实用性强；3、易于制定。（一）概括性问题教育评价表缺点：1、评价过程误差较大，信度低；2、不易于做定量分析，不方便提出综合性结论。（二）指标结构性教育评价表所谓指标结构性教育评价表，就是根据评价目标逐层分解评价指标，形成具有评价指标体系、指标权重结构以及定性定量具体评价标准的教育评价表。（二）指标结构性教育评价表优点：1、易于测量；2、便于做定量处理，易于获得综合性结论；3、误差较小，信度较高。（二）指标结构性教育评价表缺点：1、设计难度较高；2、灵活性小；3、效度相对比较低。概括性问题评价表与指标结构评价表比较比较项目概括性问题教育评价表指标结构性教育评价表评价内容抽象、概括具体可操作方法论人文化的实证化的可测性较差较强结果处理不便于综合便于综合功能改进交流、适用于形成性评价鉴定、比较，适用于终结性评价信度低高效度高低设计难度低高二、制定教育评价表的原则（一）导向性原则在设计指标系统时，要坚持导向性原则，以办学方向作为目标方向，适应教育改革、发展和提高的要求。同时要坚持大方向和小目标的统一，要把总的方向和阶段性的；重点统一起来。把工作的长远目标和近期目标统一起来，通过对阶段性小目标的；评价，促进其落实，逐渐提高，最终全面实现总方向指导下的大目标。二、制定教育评价表的原则（二）科学性原则科学性包含以下四层意思：1.指标与目标一致2.同一指标系统中的指标要相容，不能把相互矛盾的两条指标放在同一系统中。3.同一指标系统中的指标不能重复，不能出现等价指标，否则在分配权重时会加重该内容的分量而使指标体系失调。4.指标要具有可比性，即指标必须反映评价对象的共同属性。二、制定教育评价表的原则（三）整体性原则整体性是指指标系统对目标反映的完备性、全面性二、制定教育评价表的原则（四）可测性原则指标作为目标的具体化、行为化表现，应该具有可测性，这也是以指标系统方式表达评价内容的目的所要求的，它要求指标应尽量用具体可操作化的语言来描述，并能通过观察或者测量得到明确的结果，以便于综合得出评价结论。二、制定教育评价表的原则（五）可行性原则包括三层含义：1.要求指标涉及的信息应易于获取；2.指标系统，要简便易行，3.简化量化方法，使之易懂，便于操作。一、教育评价表的构成要素（一）评价指标（二）指标权重（三）评价标准（一）评价指标评价指标就是根据评价的目标，由评价指标的设计者分解出来的，能够反映评价对象某方面本质特征的具体化、行为化的主要元素，它是对评价对象进行价值判断的依据。（二）指标权重是指一个整体被分解成若干因素(指标)时，用来表示每个因素在整体中所占比重大小的数字。权重系数简称为权重。同一级指标的权重系数之和等于1，同级指标分解为各子系统时，每个子系统内各指标的权重系数之和等于1（三）评价标准教育评价的标准是指对应于相应的评价指标或项目，评价对象达到什么程度或水平才是合乎要求的，或是优秀的、良好的等等。（三）评价标准评价标准的基本要求如下;1.先进性2.科学性3.可接受性二、制定教育评价表的步骤和方法设计指标系统1.将评价目标进行分解，获得初拟指标内涵分析法：首先是对目标内涵的理解，将其分成几个关键要素，属于一级指标，每个要素自成一个子系统，再分解每个子系统的内涵，列出能反映其内涵的项目，属于二级指标，每个二级指标又是个子系统，再分解，直到认为具有可操作性为止。设计指标系统2归类筛选，精简指标主要方法:经验法，要是专家根据对目标的内涵分析，考察指标在总体中的地位、作用，是否具有可操作性，指标群中是否交叉重复等。调查统计法，首先将初拟指标列成调查表，发给被调查者(应该是专家或本领域实践经验丰富者)，请他们指出他们认为重要的指标，然后统计每项指标被提到的人数的百分比，再按百分比的大小取舍指标。相关分析法。先按初拟指标系统试评，获得评价值，然后求指标评价值两两相关的相关矩阵，将相关程度高的指标合并，达到简化指标的目的。设计指标系统3.专家论证为保证指标系统的质量，还要进一步找专家论证。这里请的专家不应和征集、筛选时的专家完全重复确定评价指标权重1.关键特征调查法2.特尔斐法3.简单调查统计法4.层次分析法确定评价指标权重1.关键特征调查法关键特征调查法是先请被调查者从所提供的初拟指标中找出最关键、最有特征的指标，再对指标进行筛选并求出其权重的方法。表4.2中学生的综合素质评价指标调查结果初拟指标思想道德文化素质体能素质思维品质心理素质社会品质合群品质学习能力创新能力实践能力选择人数152147957312698621179088选择人数百分比t9591.959.445.678.861.338.873.159.455我们要确定中学生的综合素质评价指标，可以按照下述步骤开展调查研究：第一步：先提出初拟评价指标，假定有8个评价指标(见表4.2第一行)第二步：请被调查者从初拟指标中找出一定数量的关键指标。假定调查者通过问卷请160名专家从初拟的8个指标中每人选出最重要的5个指标。第三步：计算人数和百分比。调查者计算选择各指标的人数(表4.2第二行)及其百分比(表4.2第三行)第四步：按一定的规则选取指标。以选择各指标的某个百分比为起点，确定入选指标。如以50％为起点，可以入选的指标有8个。(见表4.2)第五步：按照“归一化”的要求，计算各指标的权重系数，见公式：niiiittw1例如，上表中第一个指标(思想道德)的权重系数为：=95.0÷(95.0+91.9+59.4+78.8+61.3+73.1+59.4+55.0)≈0.171w表4.3中学生的综合素质评价指标调查结果初拟指标思想道德文化素质体能素质心理素质社会品质学习能力创新能力实践能力选择人数15214795126981179088选择人数百分比t9591.959.478.861.373.159.455权重系数0.170.160.100.140.110.130.100.09微调取整数系数0.20.20.10.10.10.10.10.1确定评价指标权重2.特尔斐法以分发问题表的形式向有关专家咨询，这些专家以“背靠背”的形式接受咨询，尽可能地减少权威、资历、口才、人数优势对被咨询者回答问题的影响。第一批咨询表收回后经统计处理，立即将总体应答情况如平均数、各权数区域的频数等，反馈给专家；然后个专家考虑这一情况，自由地决定自己是修改还是继续坚持自己的观点。其整个咨询过程的应答情况是一种逐步收敛的趋势，专家的意见趋于一致特点：1.参加意见咨询的人士对所咨询问题的回答具有权威性。2.参加意见咨询的人士对咨询问题的回答具有独立性。3.参加意见咨询的人士能够逐步取得价值认识和判断的一致。4.意见征询是一个有组织、有控制的过程。步骤如下：第一步，由联络组成员将设计好的第一轮权重咨询调查表发给各专家。第一轮咨询表一般包括指标和判断指标重要程度的等级。此表格的一般形式如表4.4所示。表4.4专家咨询表指标重要性程度很重要（0.4）重要（0.3）一般（0.2）不重要（0.1）办学条件管理水平培养水平第二步，收回第一轮咨询表，进行统计处理，并设计发放第二轮表。统计处理时，主要求出两个量数：(1)求每一指标权重系数的平均估计值ijiwnw1将上述两个量数及有关说明填在表中，请专家参考第一轮的统计结果再一次进行估计也附上自己的意见，第二轮以后各轮表格形式一样。在这个过程中需要注意一下几个方面：1.要求参加咨询的人应是长期从事教育工作，懂得教育科学规律，具有丰富的教育实践经验专家。2.它是一种有组织、有控制的咨询过程。3.为了防止某些专家只是简单地向中数靠拢，在反馈信息时应注意给于选择反馈信息。4.几次咨询后，如仍有偏离多数意见太远的意见，则应作为偏憎或偏爱值，予以舍弃。3.简单调查统计法简单调查统计法也称直接打分法具体做法是，首先邀请若干专家，请他们在列有指标的调查表中分别对各指标的重要程度作出判断，给出权重或分数，然后再统计平均值，即可得到该指标的权重。如果专家在判断时给出的是分数，则要进行归一化处理而得到各指标权重。4.层次分析法1.将选取的指标进行比较，以确定其等1,3,5,7,9A指标同B指标进行比较，如果同等重要则标记为1，如果A比B略重要则标记为3，如果A比B基本重要标记为5，如果A比B确实重要则标记为7，如果A比B绝对重要则标记为9。如果B与A比较，则取A与B比较结果的倒数。以此类推将各个指标进行比较，将比较结果写成矩阵的形式，记做矩阵A2.对矩阵A的每一列做归一化处理记做矩阵B。3.将矩阵B的每行个数字分别相加得到一个列数为1的矩阵，记做矩阵C。4.将矩阵C的各个数进行归一化处理，所得的结果就是各个指标的权重。加权的步骤如下：(1)将比较结果写成矩阵的形式AA=131517131131511317331(2)对矩阵A的每一列进行归一化处理。第1列：1+31+31+71=21281/2128=0.5631/2128=0.1831/2128=0.1871/2128=0.08以此类推对2,3,4列进行归一化处理，得到矩阵B06.006.004.008.019.019.019.018.031.019.019.018.044.056.058.056.0B=(3)将矩阵B的每一行数字相加，得到矩阵CC=24.075.087.014.2(4)将矩阵C的每个数进行归一化处理，得到各个指标的权重2.14+0.87+0.75+0.24=42.14/4=0.530.87/4=0.220.75/4=0.190.24/4=0.06结果：指标1的权重为0.53；指标2的权重为0.22，指标3的权重为0.19；指标4的权重为0.06（三）设定评价标准1.分解教育评价表中指标所包含的主要内容分解教育评价中的主要内容是将每一个指标进行具体说明例如，“教学组织”是教师教学工作评价表中的一项指标，经分解，认为“科学利用教学时间，教学过程安排合理；严格要求，教书育人；教态和蔼，师生精神饱满，课堂秩序良好”，（三）设定评价标准2.确定标度标度是达到标准的程度，它说明什么样的程度属于什么等级方式：一是用描述性语言表示例如:用“很好”、“较好”、“一般”、“较差”四个等级表示评价对象达到的程度；用“完全达到”、“基本达到”、“大部分达到”、“小部分或全未达到”区分教育活动达到的等级程度。二是用量化形式表示，经常用分数阈来划分程度。例如:衡量学生掌握知识技能达到教学目标要求的程度，可用测验的分数阈表示。100—90分为优秀程度；89—75分为良好程度；74—60分为及格程度；59一0分为不及格程度。（三）设定评价标准3.确定等级数量评价标准设多少等级为好没有统一的规定，可根