教育测量项目评价方案

教育测量与评价2014测验编制评价方案2014/05/19小组成员：王雯、罗亮菊、冯娜、李化东、陈华、张云云北师大教育技术学专业北师大教育技术学教育测量与评价小组2目录测验编制评价方案................................................................................................3一.确定测验目的.........................................................................................31.1施测对象.........................................................................................31.2测量目标.........................................................................................31.3测量采取的形式.............................................................................3二.拟定编制计划...........................................................................................3三.测验项目的编制.......................................................................................43.1相关资料搜集.................................................................................43.2测验项目的选择.............................................................................43.3项目编写.........................................................................................5四．项目的试测和分析................................................................................54.1项目的试测.....................................................................................54.2项目分析.........................................................................................6五．测验合成................................................................................................75.1测验项目的选择.............................................................................75.2测验项目的编排.............................................................................85.3测验复本的编写.............................................................................8六．测验使用的标准化................................................................................96.1施测过程.........................................................................................96.2评分&记分.......................................................................................96.3分数解释.........................................................................................9七．信度评价................................................................................................97.1信度的概念与分析.........................................................................97.2信度的大小要求...........................................................................107.3信度的分类与选择.......................................................................11八.效度评价...............................................................................................138.1效度评价方案理论基础...............................................................138.2效度评价方案形成思路...............................................................14九.编写测验手册.......................................................................................14十．附件：测验编制评价量表..................................................................15北师大教育技术学教育测量与评价小组3测验编制评价方案本次评价方案的设计主要是对测验编制的一般过程进行评价，把握测验的实用性、可信度、有效性、难度和区分度，对于编制测验的各个过程提出了相印的评价指标，最终形成测验编制评价表。一.确定测验目的1.1施测对象在编制测验之前，首先要明确施测对象，只有对施测对象的年龄、智力水平、文化背景、阅读水平做到心中有数，才能有的放矢。对确定施测对象的评价可从以下两个方面进行：第一，对施测对象的年龄、智力水平、文化背景、阅读水平进行准确的描述；第二，描述的施测对象与测验内容水平相关。1.2测量目标测量目标主要是指所编的测验用来测量什么。对测量目标主要从以下三个方面进行评价：第一，测量目标是测能力、人格还是学业成就，能对测量目标进行明确的描述；第二，将测量目标具体化，并能够明确描述，即将测量目标转化成可操作术语。第三，能完整描述测量目标；1.3测量采取的形式测验是要对被试做描述还是诊断，亦或者是选拔、预示，这一点在需在测试编制之前就应该明确。即应该明确测量采取的形式。测量采取的形式包括常模参照测验和标准参照测验，常模参照是指将个体得分与所在团体进行比较，确定个体在团体中的位置；标准参照是指将个体得分与既有的标准相比较，与其他人的结果无关。对这部分的评价主要包括如下：第一，明确描述测验采取的测量形式；第二，描述采取的测量形式与测量目标之间的相关关系；二.拟定编制计划编制计划，实际上是对测验的总体设计，指出测验内容和项目形式等，以及对每一个内容、目标的相对重视程度。不同的测验，编制计划不同。其中，成就性测验广泛应用在学校教育教学测验中，这种测验主要是根据布鲁姆的教育目标分类，从认知领域中知识、理解、应用、分析、综合、评价这六个层次，建立双向细目表。拟定出测验编制所要测验的内容、测验的难易程度、以及该部分知识北师大教育技术学教育测量与评价小组4所占的权重。一般情况下，对编制计划可以从以下几个方面进行评价：第一，明确描述完成测验所需的时间，在本次测验中，明确描述完成测验所需时间确定为20分钟；第二，能正确把握测验内容，把握测验内容的全面性；第三，所选测验内容能够代表测验的全部内容；第四，准确分析测验内容与测验目标的达成度；第五，明确描述测验内容各部分的相对重要性；第六，完整地描述测验项目的形式、编排、题目的类型和数量；第七，详细确定出测验各部分的计分方法；三.测验项目的编制3.1相关资料搜集测验编制好之后，为后续项目的设计、编写提供依据，测验的资料的搜集与测验项目的设计、测验结果的好坏有着密切的关系。有关这部分的评价，主要分为以下几点：第一，资料内容丰富、齐全；这样就会在项目设计中，样本越具有代表性；第二，资料具有普遍性，即所选资料对测验对象尽可能公平；3.2测验项目的选择测验的编制者还必须确定测验的实施方式，同时还需要考虑测题与计分的客观程度。测验的编制者可根据测验内容的知识性质和类型，选择特定的实施方式。测题与计分的客观程度，主要包括主观性试题和客观性试题。主观性试题可以有效地测查材料组织能力、协作能力和创造性。其特征是题量少，题目的综合性高，但覆盖面小；思考复杂，书写时间长，提供大量有关具体思考过程的信息；评分弹性大，难以猜测。客观性试题可以有效测量事实知识、理解能力、思考技能。其特点是题量大，覆盖面广，学生难以猜题；作答方式简单，缺乏具体的思考过程信息；有唯一标准答案，对编写者有一定要求，需要较大题量。对测验项目的选择可以从以下几个方面进行评价：第一，根据测验的目的，正确选择测验的材料的性质。如果测验内容主要是动作技能，可以通过操作进行测验，如果是文字表达、材料组织，可采用论文或者简单题的形式呈现，如果需要测验更多、更广泛的内容，那么可以编制成选择题的形式。同时，可根据内容，综合应用多种形式来呈现测验内容。第二，测验项目的形式符合测验团体的特点。如测验团体是幼儿宜用口头测验，言语有缺陷的人宜采用操作项目等。第三，测试人数、时间和经费跟测验项目形式的权衡。当测试人数太多、测验时间和经费有限，宜采用纸笔测验；当测验人数较少，时间充足，仪器足够，可采用操作测验。第四，测题与计分的客观程度。北师大教育技术学教育测量与评价小组53.3项目编写制定项目的过程包括写出、编写、预试和修改一系列过程，在获得令人满意的项目之前，这些步骤是不断反复进行的。编制者在进行项目修订的时候，主要是修改意义不明确的词语，删除重复的和不适用的项目。在项目编写时，主要从以下几个方面进行评价：第一，根据测试时间、题型、阅读量、计算量、涉及面、测验性质等特征确定项目的取材范围；第二，项目的范围与测验计划相一致；第三，项目的数量要比最后所需的项目多一倍至几倍，以备筛选和副本的编写。第四，项目的难度符合测验项目目的的需要；项目的难度符合测验项目目的，测验结果一般呈正态分布；项目的题目的排列应该遵循由易到难的顺序。其中，人格测验、速度测验比较特殊，一般要求题量大难度差异小，并且题目的次序是被打乱的。第五，项目的说明描述清楚、明了；第六，明确说明总指导语；第七，明确描述各部分的说明；第八，编写人格/态度量表