chapter4-reliability效度

第四章测量信度Reliability2020/1/11THY,CCNU2学习目标掌握信度概念掌握信度的几种估计方法掌握影响测量信度的主要因素了解信度的应用2020/1/11THY,CCNU3信度的定义Reliability测量结果的一致性、可靠性程度。信度系数(ReliabilityCoefficient)描述测量信度的数量指标，以相关系数来表示。2020/1/11THY,CCNU4信度的统计学含义信度是一个被测团体的真分数的变异数与实得分数的变异量之比。信度系数是一个被测团体的真分数与实得分数的相关系数的平方。2020/1/11THY,CCNU5信度种类及其估计方法重测信度复本信度同质性信度评分者信度2020/1/11THY,CCNU6重测信度Test-retestReliability用同一个测验对同一组被试在不同时间施测两次所得结果的一致性程度。其大小等于同一组被试在两次测验上所得分数的皮尔逊积差相关系数。又称稳定性信度、再测信度、施测—再施测信度、跨时间的一致性。2020/1/11THY,CCNU7重测信度计算举例10名学生幸福感调查的两次施测分数ABCDEFGHIJ161513131110109871516141210911867X1X22020/1/11THY,CCNU8重测信度使用的前提条件(1)所测量的心理属性必须是“稳定”的。2020/1/11THY,CCNU9重测信度使用的前提条件(2)遗忘与练习的效果基本上相互抵消。2020/1/11THY,CCNU10重测信度使用的前提条件(3)两次施测期间被试的心理属性水平没有获得更多的学习和训练。2020/1/11THY,CCNU11复本信度Alternate-formReliability用两个平行测验（同一测验的两个复份）测量同一组被试所得结果的一致性程度。其大小等于同一组被试在两个复本测验上所得分数的皮尔逊积差相关系数。又叫等值性信度，跨形式的一致性。2020/1/11THY,CCNU12稳定性与等值性信度ReliabilityofStabilityandEquivalence如果两个复本测验是相距较长一段时间分两次施测的，同一组被试施测结果的一致性程度。同时考虑到了施测时间不同和施测题目不同所带来的误差。2020/1/11THY,CCNU13复本信度计算举例10名学生创造力的复本测验结果ABCDEFGHIJX1X22019181817161412121020201916161712111392020/1/11THY,CCNU14复本信度使用前提条件施测所用的复本必须是真正平行的测验。例(下一页)被试要有条件接受两个测验。注意排除施测顺序的影响。怎么做？报告结果时，应报告两次施测的时间间隔及在此间隔内被试的有关经历。2020/1/11THY,CCNU16内部一致性信度InternalConsistencyReliability指的是测验内容的一致性或测验内部所有题目的一致性（项目同质性）程度。又称同质性(homogeneity)信度。2020/1/11THY,CCNU17内部一致性信度的估计方法分半法α系数法库德-理查逊方法2020/1/11THY,CCNU18分半法Split-HalfMethod将一个测验分成对等的两半后，所有被试在这两半上所得分数的一致性程度。计算方法确定分半方法(如，奇偶分半法…)计算两半测验得分的相关系数利用公式校正2020/1/11THY,CCNU19分半信度计算举例一个学生对10道题的回答为（正确答案标记为＋，错误答案标记为－）：1.＋2.＋3.－4.＋5.＋6.－7.－8.－9.＋10.－请计算该测验此次测量的分半信度。这个学生的总分为5分，3个奇数题正确，2个偶数题正确。5名被试的测验结果被试奇数题得分偶数题得分A32B55C44D11E45分半信度的矫正公式满足等值性时，使用斯皮尔曼－布朗公式Spearman-BrawnFormula不满足等值性时，使用弗拉南根公式FlanaganFormula卢伦公式RulonFormula初一学生地理成绩测验内部一致性信度系数计算表2020/1/11THY,CCNU23α系数克伦巴赫系数CronbachCoefficient例…6个论文题目测验内部一致性信度系数计算表学生题目(K=6)总分XtX2t123456A34321417289B63454628784C13124416256D62215319361E53124217289总和211511121820971979平方和1074731387490首先计算测验总分的方差再计算各题方差的总和将有关数据代入α系数公式，则2020/1/11THY,CCNU26α系数计算举例(2)某态度测验共7题100个被试在各题上得分的方差分别是0.81,0.82,0.79,0.83,0.85,0.76,0.77测验总分的方差为14.00试求该量表的α系数？=0.70)1)(1(22tiSSKKa00.1477.076.085.083.079.082.081.01177=2020/1/11THY,CCNU28库德-理查逊方法Kuder-RichardsonMethodK-R20(仅适用于以1、0记分)K-R21初一学生地理成绩测验内部一致性信度系数计算表2020/1/11THY,CCNU30内部一致性信度的适用范围内部一致性信度适用于同质性测验，而不适用于异质性测验。不适用于速度测验。2020/1/11THY,CCNU31评分者信度Interscore/InterraterReliability多个评分者给一组测验结果评分，所得分数之间的一致性程度。最常见的方法是两个人对一定数量受测者的反应进行评价；然后计算两列分数之间的相关；也可以让多个人对一个受测者的反应进行评价；还可以让多个人同时对多个受测者的反应进行评价。2020/1/11THY,CCNU32评分者信度的计算如果是两个评分者，则采用积差相关或等级相关的方法。如果是多个评分者，则采用肯德尔和谐系数来估计。计算举例如有A、B、C三位专家给6位应聘者的面试评分，结果如下，试求评分者信度。ABC175664529072603816354460604258475636969066ABCRi154514222373454134666185332861113由题意知K=3,N=6,将上述值代入公式有:如果在评定中有相同的等级时，用下式校正。其中n为相同等级的个数2020/1/11THY,CCNU35小结重测信度：估计测验中跨时间的一致性复本信度：估计测验中跨形式的一致性内在一致性信度：估计测验中跨项目或两个分半测验的一致性评分者信度：估计测验中跨评分者的一致性2020/1/11THY,CCNU36影响信度的主要因素(1)分数分布范围克莱(Kelly)公式例2020/1/11THY,CCNU37克莱(Kelly)公式应用举例一记忆力测验实施于某市全体初中生，其分数的标准差为10，信度系数为0.90；若将该测验施测于初二年级，其分数标准差为6。求初二年级的信度系数估计值。2020/1/11THY,CCNU38影响信度的主要因素(2)测验的长度测验A：只有一道题：2+4=测验B：1+1=；3+3=；4+4=；5-3=；2+4=等30道题哪份测验的信度更高？2020/1/11THY,CCNU39测验长度与信度的关系测量长度信度系数测量长度信度系数50.201600.89100.333200.94200.506400.97400.67∞1.00800.80XXXXKKrKKrr)1(12020/1/11THY,CCNU40测验长度与信度关系举例(1)如由50题组成的儿童心理学测验，其信度系数为0.72，若再增加30个与原测验难度相近且同质性的题目，问长度增加后的测验系数是多少？2020/1/11THY,CCNU41测验长度与信度关系举例(2)某一测验有12个项目，信度是0.60,问测验应增加到多少个项目,才能使信度达到0.90?6×12=72所以题目增加到72个,才能满足要求。测验的难度2020/1/11THY,CCNU43提高测验信度的方法适当增加测验的长度使所有题目的难度接近正态分布努力提高测题的区分度选取恰当的被试团体主试严格执行实测规程2020/1/11THY,CCNU44信度的作用评价测验：信度是测量过程中存在的随机误差大小的反映解释个人分数的意义比较不同测验之间的分数差异2020/1/11THY,CCNU45信度的作用之“计算测验分数的误差”(1)如果选用95%的可靠性要求（置信水平），Z0.95=1.96，那么，真分数就有95%的可能性落在的范围内，即2020/1/11THY,CCNU46信度的作用之“计算测验分数的误差”(2)Question已知WISC-R的标准差为15，信度系数为0.95，对一名12岁的儿童实施该测验后，IQ为110，那么他的真分数在95%的可靠度要求下，变动范围是多大？2020/1/11THY,CCNU47续2020/1/11THY,CCNU48信度的作用之“用于两种测验分数的比较”韦氏智力测验中，某人的VIQ=115，PIQ=106，其中言语测验的信度系数为.94，操作测验的信度系数为.90，在.05水平上，试问其言语智商是否显著优于操作智商?2020/1/11THY,CCNU49信度的作用之“用于两种测验分数的比较”个体间存在差异的一个首要原则就是，两个人在同一个测验上分数之差必须是测量标准误的两倍以上才能被认为是有差异的。另一方面，同一个人在两个测验上得分之差也必须超过两个测验中较大的测量标准误的两倍，才可以解释为有显著差异。这是因为两种测验所得分数之差的标准误总是大于任何一种测验的测量标准误。2020/1/11THY,CCNU50几种心理测验的信度系数要求(Aiken,1985)信度高0.980.970.960.970.93态度量表0.470.790.98测验类型低中成套成就测验0.660.92能力测验0.560.90成套倾向性测验0.260.88客观人格测验0.460.85兴趣测验0.420.842020/1/11THY,CCNU51不同测验信度系数的可接受水平不同功能测验信度接受水平不同能力测验和成就测验0.90以上,0.95人格测验0.80-0.85或更高自编学绩测验0.60以上个人评价与团队比较信度水平不同低于0.700.70-0.85之间高于0.85新编的测验信度应高于原有同类测验2020/1/11THY,CCNU52思考题不同信度评估方法的适用范围?影响测量信度的主要因素有哪些?怎样提高测量信度？谈谈信度的定义，其作用有哪些?基本概念：信度、重测信度、复本信度、内部一致性信度、评分者信度公式、计算