6标准参照测验的设计与编制

第六章标准参照测验的设计与编制第六章标准参照测验的设计与编制第一节标准参照测验概述一、标准参照测验的定义•常模参照测验测量的是“相对能力”，广泛应用于能力、能力倾向、成就、人格、态度等多种特质的测量中，并发展出一套比较成熟的统计方法，用于项目分析，质量控制以及分数解释之中。•常模参照测验模式的局限：并不是所有的测验都只关心个体间的差异。第六章标准参照测验的设计与编制第一节标准参照测验概述一、标准参照测验的定义•1962，R.Glaser&D.Claus建议把测验分成参照常模和参照标准两种，提出“标准参照测验”的概念。•标准参照测验是根据某一明确界定的内容范围而缜密编制的测验；被试在测验中所得结果，也是根据某一明确界定的行为标准直接进行解释的。第六章标准参照测验的设计与编制第一节标准参照测验概述一、标准参照测验的定义•该概念需注意：•1标准参照测验中的“标准”指编制测验和解释测验分数时所依据的知识和技能范围，而不是指划界分数。•2标准参照测验有不同的名称，如内容参照测验和结果参照测验。第六章标准参照测验的设计与编制第一节标准参照测验概述一、标准参照测验的定义•该概念需注意：•内容参照测验：指测验所使用的标准是内容材料定义的，即掌握某领域知识和技能的比例。•被试在内容测验上答对题目数占所有测验题目数的百分比视为整个内容范围的掌握程度。第六章标准参照测验的设计与编制第一节标准参照测验概述一、标准参照测验的定义•该概念需注意：•如果已知测验分数和某个外部效标有关，则可用被试在效标上的表现直接解释测验分数，这种测验称为结果参照测验。其目的是预测，关心的是被试达到某种目标特质的可能性。第六章标准参照测验的设计与编制第一节标准参照测验概述二、标准参照测验的编制1界定目标：测验编制前，对所欲测量的内容范围作出清晰界定，并给与操作定义测验题目的选择限制在此内容范围内；构成测验的所有题目，须是所依据的内容范围的一个代表性样本。2进行题目编写，评估内容效度。考察测验题目—目标一致性，题目—领域代表性以及难度和偏差等其他技术特征。第六章标准参照测验的设计与编制第一节标准参照测验概述二、标准参照测验的编制3修改删减项目，合成测验4确定临界分数，区分被试掌握掌握状态的标准5试测及测量学分析选取一个有代表性的样本接受测验，进行项目分析和信效度检验。6编写测验使用说明书将正式测验的各项测量学指标编入测验使用说明中。第六章标准参照测验的设计与编制第一节标准参照测验概述三、标准参照测验的用途1各类教育水平、职业水平测试采取了标准参照测验的编制、施测、计分和解释模式；2在内容上有一个最低要求，其结果是决定相关人员能否从事某种职业。3广泛应用于教育实践，发现应该补救的问题，发挥考试的诊断功能和发展功能。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制一、标准参照测验的项目分析（一）难度分析•标准参照测验的项目难度一般以通过率来表示，侧重于考察项目的代表性。在大多数情况下只是作为项目区分度分析的基础。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制一、标准参照测验的项目分析（二）区分度分析•1前测—后测法•（1）教学敏感性指数•同一组被试，在其接受与测验目标有关的教学过程前后各施测一次，得到前测和后测的分数，计算每个项目前后测的通过率之差，可得到每个项目区分掌握和未掌握两组被试的能力。•D=P后测-P前测第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制一、标准参照测验的项目分析（二）区分度分析•1前测—后测法•（2）个人获得指数采取前测—后测法，获得在前测中错误回答某项目而在后测中能够正确回答的被试人数比例，即该项目的个人获得指数。被试1前测后测2前测后测3前测后测11111112110111301111140011115100111600001171011118110011901011110100111第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制一、标准参照测验的项目分析（二）区分度分析•2控制组法•(1)已接受教学组-未接受教学组方法•选取两组被试，其中一组已经接受了有关测验目标内容的教学，而另一组从未接受过，将测验对两组被试同时施测，考察两组通过率之差。•D=P甲-P乙第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制一、标准参照测验的项目分析（二）区分度分析•2控制组法•(2)对照组方法：•前测-后测法假设凡是接受了有关教学活动的被试均已掌握了教学内容，而未接受教学活动的被试均没有掌握教学内容。•选择两组被试，由教师评定为掌握组和未掌握组，求掌握组和未掌握组的通过率之差。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制二、标准参照测验的信度（一）分类一致性信度•标准参照测验对其分数的解释通常是根据某一分数分界点将被试分为掌握者和未掌握者两类，称作“达标-未达标”或“及格-未及格”。•从测验的分类决策一致性的角度定义其信度，称作分类一致性信度。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制二、标准参照测验的信度（一）分类一致性信度•对分类一致性信度考察的简单常用的方法是考查被试在同一测验的两次施测中或两个复本的施测中是否被分在同一类中。具体方法类似于常模参照测验中的再测法和复本法。•采用同一批被试团体在两次测验结果中均被分为及格和不及格类别中的人数百分比例作为分类一致性信度的指标。一、信度及其估计（一）分类一致性信度测验A测验B及格不及格及格不及格acbdP0=(a+d)/NP0的最大值为1，说明两次施测结果对被试的分类一致。关键点：测验分数分界点的确定问题第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制二、标准参照测验的信度（二）荷伊特信度利用方差分析的方法，找出个体水平的真正变异在总变异中的比例，以此作为信度的估计值。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制二、标准参照测验的信度（二）荷伊特信度设有N名被试参加一项有K个项目的测试，测验分数的总变异可分解为被试间变异SS人、项目间变异SS题、和人与试题的交互作用SS人×题三部分，荷伊特认为被试方差可以用被试间变异作为估计值，误差方差可以用人和试题的交互作用作估计值，并用下式作为测验信度的估计值：rxx=1－MS人×题/MS人第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制二、标准参照测验的信度（二）荷伊特信度•这种方法不受测验目的或被试异质性的影响，适用于标准参照测验的信度评估，且不会随测验分数分界点而变化，更具普遍性。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制三、标准参照测验的效度（一）内容效度–1、标准参照测验注重被试在其所测内容范围内的掌握程度，因而测验本身的题目组成对所要测的内容范围的覆盖程度或代表性程度（即内容效度）显得尤为重要。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制三、标准参照测验的效度（一）内容效度•2、内容效度的评估依赖于两个条件：•①项目与测验目标的一致性•②项目是测验内容范围的代表性取样第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制三、标准参照测验的效度（二）实证效度•标准参照测验的效标关联效度和常模参照测验中的方法在具体实施中相似，不同之处在于统计指标。•常模参照测验一般用测验与效标间的相关系数作为效标关联效度的指标，但相关系数受分数分布的影响，不适合标准参照测验。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制三、标准参照测验的效度（二）实证效度•所以，有人提出用“决策效度（DecisionValidity）”来评估标准参照测验的效标关联效度。•以教学情境中某目标参照测验为例：三、标准参照测验的效度（二）实证效度效标测验预测源测验通过不通过通过不通过acbd决策效度指在预测源测验和效标测验中均通过和均不通过的被试人数百分比例。第六章标准参照测验的设计与编制第二节标准参照测验的信、效度和与误差控制第六章标准参照测验的设计与编制第三节划界分数设置方法与被试评价测验分数的分界点，切割分数线，及格线•根据分数分界点，可以将被试分为“及格”和“不及格”两类。•分数分界点的确定争议很大。•分数的分界点并非必需，可以用“被试掌握了测验的内容范围的百分之多少”来解释被试的分数；知识学习是一个连续的过程，知识的掌握也只是一个程度的问题，从理论上说并不存在可以清晰辨别的掌握者或非掌握者。•分数分界点的确定方法很有必要也很重要。第六章标准参照测验的设计与编制第三节划界分数设置方法与被试评价一、判断法（一）整体判断法在测验的内容范围明确界定的基础上，每位专家从整体上对测验与和内容范围进行判断，提出处于临界水平的被试能够正确回答的题目的比例，然后将所有专家的分数平均，作为划界分数。临界水平的被试指那些由未掌握水平转入掌握水平的被试，这些被试实际上是在专家的想象中虚拟出来的。第六章标准参照测验的设计与编制第三节划界分数设置方法与被试评价一、专家判定法（二）Nedelsky方法：1954•适合由多重选择题组成的测验。•由专家来判断处于临界水平的被试在每一题上有能力排除的错误选择项，并记录下剩余的反应数的倒数；•将该份测验中所有题目的倒数和记为A，作为该专家确定的临界水平考生的可能分数；•对所有专家的A值进行平均，即为及格线。第六章标准参照测验的设计与编制第三节划界分数设置方法与被试评价一、专家判定法（三）Angoff方法：1971•由专家直接判断处于临界水平的被试在某测验的每一题目上正确作答的可能性（Pi），设每题的满分为Fi，则该测验的分数分界点（λ）为：λ=ΣFiPi第六章标准参照测验的设计与编制第三节划界分数设置方法与被试评价一、专家判定法（四）Ebel法：1972•专家把题目的难度分为几个等级；•然后依题目的代表性程度将题目分成若干等级；•再由专家估计临界被试答对某一代表性程度、某一困难等级题目的百分比P。•则划界分数的计算方法为：Xr=ΣPN第六章标准参照测验的设计与编制第三节划界分数设置方法与被试评价二、综合法既考虑实际测试数据，又考虑专家判断（一）临界组法•由专家判定和选择一组正处于临界水平的被试，将测验施测于该组被试，计算他们在测验上的平均成绩，以体现测验的内容范围所要求的临界水平，因而可以视之为分数分界点的估计值。第六章标准参照测验的设计与编制第三节划界分数设置方法与被试评价二、综合法（二）对照组法：Nedelsky1954提出•由专家直接选定掌握组、非掌握组被试，剔除中间被试。而后进行施测得到原始分数分布图。图中两条分布曲线的交叉点即为测验分数分界点。•因受被试团体的影响，因此更合理的作法是选取若干对对照组，取每对对照组交叉点分数的平均值作为测验分数的分界点。