第三讲 测量的质量分析

第三讲测验的质量分析§3.1测验的信度§3.2测验的效度§3.3测验的难度§3.4测验的区分度§3.1测验的信度一、信度的定义二、信度系数的计算三、提高测验信度的途径测验的信度是指测验结果的可靠性或可靠程度。可靠性是指对同一组对象进行两次相同测量所得结果的一致性和稳定性程度。一、信度的定义测量学中，信度可定义为真分数方差与实得分数方差的比率，（3.1.1）这表明，真分数方差在实得分数方差中所占的比重越大，则信度由于是未知数，所以根据误差方程可将公式（3.1.1(3.1.2)而和都可以从一组实得分数中计算出来，所以（3.1.2）式更有实际意22XTXXSS2TS2XSXX2TS222ETXSSS222221XEXEXXXSSSSS2XS2ES从公式（3.1.1）或（3.1.2）看出，若真分数T与实得分X接近时，和也会接近，而误差及就会很小，此时信度就会增大。可见，信度是实测值与真值之间差距大小的量度。测验信度越高，误差就越小，测验的结果也越可靠。理想情况下，误差为零时，信度达到最大值；当信度很低，甚至降为零时，表明测验分数中充满误差，它比不测验还糟。信度的值在（0～1）之间，称为信度系数。当为0.95～0.99时，测验可靠性很高，但不常见；为0.9～0.94是通常能得到的最好结果；为0.8～0.9也比较好；为0.7～0.79尚可使用，在0.7以下，表明误差太大，该测验不能使用。2TS2XSE2ES)1(XXXXXXXXXXXX实际工作中，通过对测验结果的一致性程度来计算信度的，主要有三种：稳定性系数、等值性系数和内在一致性系数。1、稳定性系数（再测信度）用同一个测验，对同一组考生前后两次进行测验，两次测验分数的相关系数为再测信度.因为它能反映两次测验结果的一致性和稳定程度，也称稳定系数。其计算公式为：（3.1.3）式中X1和X2为同一考生两次的测验分数，为两次测验的平均分数，S1和S2为两次测验的标准差，N为考生人数。21,XX二、信度系数的计算212121/SSXXNXXXX再测信度的计算在使用时，两次测验之间的时间间隔要适宜，相隔时间不要太短，也不宜太长。再测法适用于速度测验而不适用于难度测验，同时要提高考生的积极性，使他们认真负责的参加每次测验。2、等值性系数（复本信度）两个等值但具体内容不同的测验，在最短时距内，对相同考生分两次测验所得分数的相关系数即为复本信度，计算公式与（3.1.3）相同。所谓等值是指测验在题型、题数、难易、时限以及题目内容和形式等方面相同或相似。3、内部一致性系数内部一致性系数是同一个测验的两部分得分的相关系数，有两种计①分半信度分半法是按正常的程序实施测验，然后将全部试题分成相等的两半（通常采用奇偶分半法），根据各人在这两半测验的分数计算其相关系数。由于这样求得的只是半个测验的信度，因此要用斯皮尔曼-布朗（Spearman-Brown（3.1.4）式中为两半测验的相关系数，rrXX12XX例1若10名学生奇数题得分与偶数题分如下表所示，试求这份整体试卷的分半信度。学生124567891011x3835212742141428287y303281825152221179解：由上表可求得.3917,7612,5259,187,25422yxxyyx再由公式(3.1.4).73.018739171025476121018725452591022.844.073.0173.02XX②库-理信度系数公式库德（Kuder）、理查逊（Richardson）和克朗巴赫（Cronbach）因不满意半分法，从方差分析的角度提出了以试题统计量为转移的信度求法，可避免任意两半分的误差。他们提出的适用于客观题试卷的一系列公式，较为常用的是K—R20公式：(3.1.7)式中n是测题数，Pi是第i题的答对率（难度指数），为第i题的答错率，显然，为所取样本中考生总分的方差。此外，因,从而使括号中的值不等于1，故乘以修正系数以使信度估计值不致偏小。221tiitkSqpSnniqiipq12tS0iiqp1nn例2某省年度教育自学考试《英语泛读》试卷由100题组成，每题答对得1分，不答或答错得0分，现分层按比例抽取50份试卷，并规定奇号题得分为x，偶号题分得为y，列表如下(表3.1)，试用库—理公式计算信度。表3.1《英语泛读》50份试卷的奇偶题得分学生编号12345678910x815819151520232019y10101520221916161716学生编号11121314151617181920x16232121242219272520y21182619222121221623学生编号21222324252627282930x23242124232828312828y21232018261826212823学生编号31323334353637383940x26332726273031243329y24262828292126293131学生编号41424344454647484950x37283133363539424641y26343033373737363740解：先计算样本中考生的总分方差，再逐题计算后求和，第1题有43人答对，答对率：则答错率,于是所有题的。然后由库-理公式得库-理还提出另一公式，用来计算同质性信度时，不需要逐题计算通过率，该公式为公式：(3.1.8)其中为测验总分的平均数。2256.14tSiiqp86.01p14.0111pq,1204.014.086.011qp10014096.21iiiqp9081.0)56.144096.211(11001002k21RK222)1()()1(1tttiikSnXnXnSSqpnnnX③克朗巴赫公式克朗巴赫提出了论文式测验的信度公式（α系数），其基本想法是以每题得分的方差来代替：(3.1.10)式中n为测题数，为所取样本的总分方差，为样本的第题得分方差。例3某校《写作》试卷由三题组成，样本容量为100，算得总分标准差，第一、二、三题的得分标准差为，求该测验的信度。解：根据克朗巴赫公式可算得信度为α系数法能编成程序由电子计算机求得结果。2iSiiqp2221titSSSnn2iS2tSi03.13tS70.8,25.5,38.3321SSS4868.003.13)70.825.538.3(03.13133222224、评分者的信度当测验是论文式试题时，不同评分者对同一试卷的评分结果不相同，因为此时误差主要来自评分者的差异。主要计算公式为：(3.1.11)式中K为评分者人数，N为评分的试卷数，是第题等级和。)(121)(3222NNKNRRWiiiRi例4有6位教师各自评阅五篇作文，每位教师给每篇作文都评了等级，并列入下表，向6位评分者所评等级的一致性如何？评分者作文编号（N=5）12345A35241B35241C34152D35142E35241F35241Ri182910258解：代入公式(3.1.11)，注意，则,90825102918iR.1954825102918222222iR5,6NK93.0)55(61215901954322W三、提高测验信度的途径1、适当增加题量：增加样本容量，减小抽样误差，使信度增高。加长测验后的信度计算公式为：(3.1.18)式中为原测验的信度，为加长的倍数，为加长倍后的信度。例6原来由6道题组成的测验，其信度，现在要求信度提高到，需要加长到多少试题？解：由(3.1.18)式得加长后的题数=原长。1)1(snsnnsnnn56.0s8.0n14.3)8.01(56.0)56.01(8.0)1()1(nssnn1914.36n2、用标准化考试：尽量减少各环节的测验误差，特别是提高命题质量，试题难度中等，区分度要大（见§3.14）。3、消除考生焦虑情绪：充分作好考前指导，试卷编排应由易到难，以利稳定考生情绪使其智能得到正常发挥。4、测验内容具有同质性：不要在一个测验中按排许多性质不同的内容，这样会降低一致性，影响信度§3.2测验的效度一、效度的定义二、效度的估算效度是指测验结果的有效性或正确性，所谓有效性，是指一种测验能够正确地测量出它所要测量的特性或功能的程度。一、效度的定义测量学中，效度被定义为有效分数方差与实得分数方差之比，即：(3.2.1)由误差方程可知，当随机误差足够小而且不变时，系统误差方差越小，则有效分数方差就越大；亦即有效分数方差在实得分数方差中所占的比重越大，也就是说效度也就越高。效度要解决两个问题：本测验的测量目标是什么；本测验对于所要测量的目标能测到什么程度。公式（3.2.1）对效度的定义告诉我们，只有当有效分数方差在实得分数方差中所占的比重越大，那么，达到测验目标的程度也就越大，因而效度也就越高。效度的取值为。22XVXYSS2222EIVXSSSS10XY二、效度的估算1、内容效度内容效度是指测验内容对所要测验的全部内容的取样代表性程度。一个测验具备良好的内容效度应满足两个条件：①测验内容范围要明确，对学生成绩测验来说，就是试题要符合教材内容和教学大纲，试题不应该超出确定的范围。②试题应是已界定的内容范围的代表性样本，它应该覆盖所测验内容的主要方面，并使各部分题目所占比例适当。确定内容效度的常用的方法是由专家对试题及所涉及的范围进行符合性判断。内容效度适合于评价学业成绩测验和职业选拔测验，对目标参照测验更为重要，因为在目标参照测验中，我们主要关心的是考生在一定范围内的知识技能掌握得如何。2、效标关联效度效标关联效度是指测验分数与作为效标的另一独立测验结果之间的一致性程度，一般是用本测验分数与效标测验结果之间的相关所谓效标，是用来检测效度的参照标准，效标关联效度可分为①同时效度：是一种测验的结果与另一大约同时获得的测验结果（即效标）之间的一致程度，并用两个测验结果的相关系数来估算，同时效度常用于标准化测验的建立。例如，用教师自编的测验施测之后，让考生短期内很快再参加一次被公认是标准化的测验，如果两次考试成绩的相关系数很高，则可以认为教师编制的测验也是标准化测验。例1取10名考生参加摸底考试与全区统一考试的成绩记录于表3.3中，求摸底考试的效标关联效度。x2x12345678910摸底成绩x92818077716663544544区考成绩y87788075696362524638x·y80046318640057754889415839062808207016726736504759744516表3.3解：我们把区考试成绩作为效标，求它与摸底考试分数的积差相关系数：若用等级相关系数公式计算，应先由表3.3中的数据按等级列表，然后计算：效标效度系数一般应在0.4以上。2/1222/122)()(yyNxxNyxxyNXY99.0)1100(10261)1(61222NNDXYXY②预测效度：是指某一测验结果与另一将来获得的测验结果之间的相关程度。在这里，效标的建立远在测验之后，目的在于说明某一测验的结果是否具有预测未来另一测验结果的功能。例2假定高中英语考试和大学入学英语考试的平均分数分别为92.57和64.18，标准差分别为21.01和11.13，两次考试间的相关系数为0.68，如果某生在高中英语考试中得分为114，那么他在大学入学英语考试中可能得多少分？解:这种问题可以用回归方程来解决,设为预测的效标分数；和分别为效标分数与测验分数的标准差；分别为效标分数与测验分数的平均数；为测验所得分数，则回归方程如下：（3.2.3）将本例中数据代入上式得：所以