项目分析2953371597

第七章项目分析本章主要内容项目的难度分析项目的鉴别力（区分度）分析项目难度与区分度的关系项目难度与信、效度的关系项目区分度与信、效度的关系项目分析实例项目分析是对测验中每个测题的质量进行的分析，包括质的分析和量的分析。质的分析就是对项目质量的逻辑分析，比如项目对所测内容的代表性，即内容效度。量的分析是通过计算项目的一些统计量作为项目质量高低的指标，包括项目的难度和区分度。前面讲到项目的难度会影响到测验的信、效度。进行项目分析的目的就是通过改进项目的统计量来提高测验的信、效度。题库第一节项目的难度分析1、定义2、难度的计算方法3、项目难度对测验的影响4、测验难度水平的选择一、定义难度是表示题目难易程度的指标，在能力测验中，它指被试在某个题目上的通过率或得分率。二、估计测题难度的方法1、对0，1记分的题目，计算公式：P=R/NR：答对该题的人数N:参加测验的总人数随堂练习设有90个人参加测验，答对第2题的人数是30人，问该题的难度是多少？P=30/90=0.3P值越大，难度越小。难度值越小，难度越大。0≤P≤12、当人数较多时，对于选择题、是非题等二级计分的题目，我们也可以用极端分组法。先根据被试的测验总分把他们由高到低排序，然后在两端分别截取人数比例相等的（一般取27%的比例）高分组和低分组，分别计算两组被试在某个项目上的通过率，求其平均数作为该题目的难度指标：2PPPLHn2RRPLH3、对于二级计分的题目，如选择题、是非题，被试有猜题（凭机遇答题）的可能，对于一个二重选择题，能力为0的被试仍有50%的可能性选择正确答案。对K重选择题，被试完全凭机遇答题而得到正确答案的可能性是1/k。鉴于机遇对选择题的影响，其实际难度与使用难度公式（P=R/N)计算的难度就有一定的差别，因此必须进行矫正。校正公式是：1K1KPCP另外，这个公式在选择题的备选答案数互不相同，又要比较它们的难度时特别有用。例题：一个五选一的测题的难度指数是0.50，一个四选一的测题的难度指数是0.53，问哪一个测题的难度大？4、在心理测验中，有些量表是多级计分的，比如许多心理量表中常用5点计分法：从未有过、偶尔、有时、经常、总是，并分别给予1分，2分，3分，4分，5分。在学科测验中，像简答、论述等主观性试题，也是按照评分标准对正确的部分给予一定的分数。像这种非二级计分的测题，可用下列公式计算测题难度：maxXXPx是全体考生在该题上所得的平均分数Xmax是该题的满分分数5、项目难度的等距量表使用项目难度等距量表的理由：⑴测题的难度一般用答对某题的人数的百分比表示。百分量表是等级量表，而非等距量表。也就是说它只表示事物之间大小的关系，但没有相等的单位。用百分比P值作为难度指标，实际上是在顺序量表的水平上衡量题目的难度。⑵难度的等级量表是反序而行的，P值越大，项目越容易，这与我们的日常概念是相反的。当样本的容量很大时，测验分数接近正态分布，如果把测验的难度指数P作为正态曲线下的面积，查标准正态分布表，就可以将以等级量表表示的P值转换为具有相等单位的等距量表Z值。P=0.5时，对应的Z=0，P=0.6时，对应的Z=-0.25，P=0.7时，对应的Z=-0.52.前两个Z值相差0.25，后两者相差0.27，显然差距是不相等的。由于Z分数的值有正有负，使用起来有诸多不便，为此美国教育测验中心（ETS)创立了一个量表，用希腊字母△做单位：△=13+4Z标准正态分布的全距一般包括6个标准差的距离，即从-3到+3，所以等距难度指数△量表的全距是1至25，平均数是13，标准差为4.P=0.9987时,Z=－3,故Δ=13+4(－3)=1P=0.9772时,Z=－2,故Δ=13+4(－2)=5P=0.8413时,Z=－1,故Δ=13+4(－1)=9P=0.5000时,Z=0,故Δ=13+4(0)=13P=0.1587时,Z=+1,故Δ=13+4(+1)=17P=0.0228时,Z=+2,故Δ=13+4(+2)=21P=0.0013时,Z=+3,故Δ=13+4(+3)=25由此可见，常用的Δ值域介于1-25之间，Δ值越大，试题越难；Δ值越小，试题越容易。例题：如果某测验两个题目的难度分别是0.50和0.60，其对应的标准分数分别是：0和-0.25，则它们转换为等距量表的难度值是多少？三、测验的难度对测验的影响（P207）1、测验的难度会影响测验分数的分布形态。当P=1时，全体被试得满分；当P=0时，全体被试得零分。在这两种极端情况下，全体被试的分数不能形成有效的分布，被试之间在知识、能力上实际存在的个体差异都被掩盖了，如果是一个择优录取的选拔测验，就失去了选拔的功能。当测验难度大时（P值小），测验分数集中于低分一端，呈正偏态分布；当测验难度小时（P值大),测验分数集中在高分一端，呈负偏态。正、负偏态的分布都会缩小分数的离散程度。2、测验的难度会影响到测验的信度和效度。测验的难度过大或过小会使测验形成正偏态和负偏态，与正态分布相比，分数的离散程度都会变小，导致信度降低。信度低了会导致效度降低。另外心理特质的分布大多是正态的，只有当测验的平均难度是0.5时，测验分数的分布才会是正态，两者才能相互吻合，只有当测验分数的分布与心理特质的分布相吻合时，测验才能对不同心理特质水平的被试有最大的鉴别力，测验的效度才能达到最高。四、测验难度水平的确定在测验编制中，测验的难度定多高才合适呢？⑴从测验目的上看。目的不同，难度也不同。当测验用于选拔人才时，如大学招生考试，企业选拔员工，一般将题目的难度定在接近录取率的水平。如果要将全体被试的能力水平做最大限度的区分时，则在一份测验中，各种难度的题目都应该有，整个测验的平均难度应在0.5左右。在学科测验中，测验的目的是考察学生对某门课知识、技能的掌握情况。因而应首先保证试题内容取样的代表性，凡是重要的概念、原理，即使人人都会也要编进测验中，使测验具有较好的内容效度。在这个前提下，可根据学生的程度适当考虑题目的难度，使考试对学生的学习起促进作用。⑵从测验的性质上看无论难度测验还是速度测验都要防止被试得满分，因为难度测验是考察被试的最高能力水平，速度测验是考察被试的最快反应速度。如果被试在这些性质的测验上得满分，我们就很难确定倘若题目比现在更难更多一些，被试将比现在多得多少分。因而，在速度测验中，题目的难度不应超出被试的能力水平，但题目的数量必须多到反应最快的人在规定时间内也做不完的程度，这样才能真正测出被试的反应速度。在难度测验中应该包括各种不同难度的题目，其中最难的题目几乎是所有被试都回答不上来的，这样在时间比较宽裕的条件下，才能真正测出被试的最高能力水平。第二节项目的鉴别力定义项目鉴别力的估计方法项目鉴别力与信、效度的关系项目鉴别力与难度的关系一、定义项目鉴别力又叫做项目的区分度。它是指项目对不同水平的被试反应的区分程度和鉴别能力。二、项目鉴别力的估计方法1、项目鉴别指数将被试按总分高低排列，把得分最高的27%的被试作为高分组，得分最低的27%的被试作为低分组，计算高分组该题答对的人数的比例与低分组该题答对的人数比例。采用公式：LHPPD美国教育与心理测量学家艾伯根据鉴别力指数提出了一个评价题目优劣的标准D测题评鉴0.40以上优良0.30-0.39良好，如能修改更好0.20-0.29尚可，仍须修改0.19以下劣，必须淘汰2、方差法：方差表示一组数据的离散程度。方差越大，数据越分散，被试在某一试题上的得分越分散，该题的鉴别力就越大。nxxsi22)(3、项目与总分的相关我们一般以总分来衡量被试能力的高低。当被试总分高时，在某个项目上的得分也高，总分低时，在某个项目上的得分也低，说明该项目与总分有一致性，从这个项目上就可以鉴别出被试能力的高低，那么这个项目的鉴别力也高。主要有：点二列相关、二列相关、积差相关。⑴点二列相关系数测验总分是连续变量，项目是二分变量采用公式：pqsxxrtqppbi随堂练习某学校15名学生测验总分和某项目的解答情况学生123456789101112131415总分908180787770696555504942353110项目得分101111100010100⑵二列相关系数两列变量，一列是连续变量，另一列被人为划分为两个类别。采用公式：))((YpqsxxrtqpbY：正态分布下百分比P对应的Y轴的高度随堂练习15名学生语文测验总分与作文分数（作文30分及以上为“及格”，30分以下为“不及格”）学生123456789101112131415总分879565328180735265464386546490作文485623133045383534202229362833⑶积差相关对于两列变量都是连续变量，非0、1计分的项目的区分度的估计。采用积差相关公式。随堂练习5名被试的测验总分Y与某题目的得分X学生12345Y30808060100X123454、项目的组间相关项目的组间相关又称项目间的相互关系，它是指一个测验中各个测题之间的相互关系。0、1计分的项目之间的相关用四分相关，非二级计分的题目用积差相关。四分相关第i题01第1j题0badc5、项目与外部准则（效标）的相关是指被试在项目上的反应与在效标上的表现的关系，看看这个项目能不能预测被试在效标上的表现，即能不能预测被试在实际中的表现。项目答错答对01升1留02(b)6（a)5(d)2(c)项目的鉴别力与信、效度的关系项目的鉴别力可以用项目与总分的相关来表示，因而鉴别力体现了测验的同质性。如果项目1上得分高，总分也高；项目1上得分低，总分也低，则说明项目1可以把高分者和低分者区分开来。如果每个项目与总分的相关都很高，说明这些项目都测到了同一种心理特质，说明测题的内部一致性系数比较高，就说明测验的信度比较高。事实上测验的信度会随着鉴别力的提高而迅速的提高。鉴别力与信度的关系鉴别力（D）信度0.12250.000.160.420.200.630.300.840.400.9150.500.949鉴别力是项目对被试能力高低的鉴别指标，项目如果能有效地将高低能力水平的被试区别开来，则说明项目是有效的，所以鉴别力与效度有直接的关系。测验的鉴别力与难度的关系难度与鉴别力有密切的关系。一般而言，难度越接近1或0时，项目的鉴别力越小；难度越接近0.50，项目的鉴别力越大。所以在编制测验时要使其平均难度为0.50.能不能让每个测题的难度都为0.50？一、步骤1、选取有代表性的样组，进行预测。2、把测验按分数的高低次序排列，然后从最高分往下取27%的人作为高分组，再从最低分向上取27%的人作为低分组。3、计算高分组和低分组在每道题上的通过率。4、运用公式分别求出每道题的难度和鉴别力指数。5、比较高分组和低分组在测题不同答案上的反应。6、根据测题统计分析的结果，修改测题或选择适当的测题。二、项目分析举例多重选择题的项目分析对选择项的反应模式应从以下几方面进行分析：⑴如果正确的备选答案被所有的受测者选择说明测题太容易或者可能项目提供了某种暗示，或者其他的答案错得太过明显。⑵如果某个错误答案无一人选择说明该选项不具有迷惑性，错得过于明显。一般而言，除非有2%以上的人选择，否则该备选答案应该修改或删除。⑶如果所有的被试都选择了同一错误答案说明可能在编制测验时把正确答案弄错了，也可能是教学时教错了。⑷如果高分组被试的选择集中在两个答案上，并且两者的选择率接近说明该题可能本来就有两种正确答案，或者在某种意义上另一个选项也有一定道理。⑸如果高分组对正确答案的选择率与低分组相等或低于低分组说明该题所考察的东西与被试的能力无关，即不具有鉴别力，应该删除或做较大地修改。⑹如果一个题目被试未作答的人数较多，或者选择各个备选答案的人数相等说明该项目可能过难或题意不清，被试无法作答或只能凭猜测作答。选择题与填空题、问答题不同，被试若答对了某道填空或简答，我们就有