心理测量学第三章误差及检验

第三章测量的误差及检验第一节测量的误差及其来源第二节测量的信度第三节测量的效度第一节测量的误差及其来源◆误差的定义◆误差的种类◆误差的来源测量结果测量因素1、误差的定义与测量目的无关不准确或不一致考研题误差:与测验目的无关的因素所导致的测验结果不一致或不准确的现象.2、误差的种类系统误差随机误差随机误差与系统误差的比较类型产生原因特点效能指标随机误差不易控制的偶然因素方向和大小上完全随机影响准确性影响一致性信度系统误差恒定、有规律的因素稳定地存在于每次测量中不影响一致性效度3、误差的来源三层面模式测量工具测试对象施测过程测量工具1．测验题目取样不当２．测验题目格式不妥3．测题的难度不当4．测题或指导语用语不当5．测验时限过短．．．．．．施测过程测试环境测试时间主试因素意外干扰评分记分测试对象应试动机测验焦虑测验经验练习效应反应倾向生理变因经典测验理论信度概念信度的评估方法信度系数的应用影响信度的因素成熟标志20世纪50年代Gulliksen《心理测验理论》三大支柱基本假设信度效度一、经典测验理论ClassicalTestTheory（CTT）考研题基本假设与真分数1、真分数测验所得未加工理论定义真正特质水平操作定义无数次测量结果的均值经典测验理论（CTT）假定：观察分数（X）与真分数（T）之间是一种线性关系，并只相差一个随机误差（E）。即：X=T＋E（1）如果对一个人测量无数次，其误差之和为0，平均误差为0。（2）误差与真分数相互独立，相关为0。（3）一个团体的平均真分数等于该团体中所有被试实得分数的平均值。（4）对于一个团体来说，实得分数、真分数、和测量误差之间有如下关系：关于测量误差还有如下假设：222ETXSSS随机误差在一次测验中，一个团体的实测分数的变异数是由与测量目的有关的变异数、稳定但出自无关来源的变异数和偶然但出自无关来源的变异数所决定的。2222222222XTETVIXVIESSSSSSSSSS二、信度的定义22XTXXSSr真分数方差与观测分数方差的比值信度指的是测量结果的稳定性程度（或一致性程度）。信度是反映测量中随机误差大小的指标。三、信度评估的方法信度重测信度复本信度内部一致性信度评分者信度分半信度同质性信度（一）重测信度（Test-retestreliability）含义同一测验同组对象前后测2次相关系数稳定性程序误差时间太短练习效应记忆效应A卷一定时距A卷太长身心变化第一，所测的心理特性必须是稳定的。第二，遗忘和练习的效果基本上相互抵消。第三，所测心理特质在两次施测的间隔时间内没有获得更多的学习和训练。第四,报告结果时要报告两次测验的间隔及有关经历.使用条件优点省力、省时测量属性相同提供随时间变化的资料不足时间间隔长短评价★时间间隔越长，重测信度越低；★时间间隔视测验目的、性质、被试特点而定；★年幼儿童，间隔要小；年长成人，间隔可长；★智力测验间隔不能太短，成就测验不能太长；★一般间隔时间不超过6个月。（二）复本信度（Alternate-formraliability）含义两等值测验最短时间内对同组对象施测结果r等值性程序误差内容取样A卷最短时距B卷复本等值的条件●各测验测量的是同一种心理特质；●各测验具有相同的内容和形式；●各测验的题目不应重复；●各测验题目数量相等；各测验难度和区分度大体相同；●各测验的分数分布（标准差和平均数）大体相同；●复本编制好后，应再测一次，以确保等值。第一，前提是有复本测验。第二，被试有条件接受两个测验(时间和经费等)。第三,报告结果时要报告两次测验的间隔及有关经历.使用条件优点代表性增强，信度更准一定程度避免练习、记忆效应不足编制复本难影响积极性触类旁通评价重测信度与复本信度有何异同？小结与问题跨时间一致性跨形式一致性试题之间有何关系？（三）内部一致性信度含义测验各题间一致性题目一致性分半信度类型同质性信度1、分半信度（Split-halfraliablity）奇偶题分半两半相关：rhh校正：rnn难易：低高两半相似：M、S项目组间相关分布常态校正方法斯皮尔曼-布朗公式方差相等时弗拉南根公式卢尤公式方差不等时使用条件测验只能施测一次或没有复本的情况下使用.当一个测验无法分成对等的两半时不宜使用.2、同质信度（Homogeneityraliability）同质性题目间的内部一致性类型库-理信度克龙巴赫系数各类题型二值记分（四）评分者信度（Scorerraliability）含义评分者评分的一致性方法2评分者2个以上者rXY肯德尔和谐系数附：确定信度的可接受水平测验类型最低标准标准化测验人格测验非标准化测验0.900.80-0.850.60-0.85典型测验的一般标准典型测验的信度高低水平测验类型低中高成套成就测验学术能力测验成套倾向性测验客观人格测验兴趣问卷态度量表.66.92.98.56.90.97.26.88.96.46.85.97.42.84.93.47.79.98各种信度系数相应误差变异的来源信度系数的类型误差变异的来源再测信度复本信度（连续施测）复本信度（间隔施测）分半信度同质性信度评分者信度时间取样内容取样时间与内容取样内容取样内容的一致性评分者间的差异友情提示实际上，有多少种误差的来源，就有多少种信度估计的方法。一般来说，一个测验哪种误差大，就应该用哪种误差估计。有时一个测验需要几种信度估计。操作演练假设对100个六年级学生以两个月的时间间隔先后施测一个创造力测验的A/B两个复本，所得的等值与稳定性系数为0.70。我们还根据被试对每个复本的反应计算出分半信度为0.80.同时,我们将另一个评分者随机抽取50份卷子另外评分，得到评分者信度为0.92。然后，我们对这这三种方法所产生的误差变异进行分析。一个假想测验的变异数分析信度类型误差变异数误差变异来源复本信度(间隔)1-0.70=0.30时间和内容取样分半信度1-0.80=0.20内容取样上述两者差异0.30-0.20=0.10时间取样评分者信度1-0.92=0.08评分者差异误差变异总和0.20+0.10+0.08=0.38真实变异1-0.38=0.62四、信度系数的应用1、评价测验2、解释分数（1）个人测验分数的误差（X-1.96SE）≥T≤（X+1.96SE）1XXXSESR（2）两种测验分数的比较(差异的标准误)所得结果与1.96SE(0.05水平)进行比较,即可得出两个测验的差异是否显著.22122ddxxyySESESESESrr五、影响信度的因素测验长度样本特征测验难度时间间隔考研题（一）测验长度含义测验试题的数量特点测验越长，试题取样越恰当，测验越长，猜测性越小。XXXXnnrkkrr11长度与信度的关系nnXXXXnnrrrrk11RXX为原测验的信度.RNN为测验长度增加后测验的信度.K为改变后的测验长度与原来长度之比.例2-16：某测验有40题，信度0.65，若增至120题，信度会是多少？例2-17：某测验有30题，信度0.75，试问要达到多少题才能使信度达到0.90？85.0nnr90,3nk特点样本越异质，分数分布越广，有可能高估信度。（二）样本特征1、样本团体异质性的影响2、样本团体平均能力水平的影响特点:团体平均水平太高或太低，分布变窄，可能低估信度.选择测验时应注意取样团体的变异性和能力水平建立信度的团体与欲测团体是否一致一般趋势测验太难或太易,分数范围缩小,降低信度.难度与题型简答题：P=0.5时，X为0～100，信度最高。学绩测验选择题的理想平均难度（洛德）五择一：0.70四择一：0.74三择一：0.77是非题：0.85（三）测验难度智力的时间变化间隔期信度系数同日或次日0.90～0.951年0.852～2.5年0.805年0.75～0.809年0.78（四）时间间隔间隔六年，rXX的变化年龄的时间变化年龄越低，信度越低第一次第二次rXX4100.739150.8711170.92思考如何提高测量的信度?适当增加测验的长度;使测验项目的难度分布接近正态;努力提高试题的区分度;选取适当的被试团体;主试严格执行测验规程;……几点说明1.有多少种误差,就有多少种估计信度的方法.2.上面介绍的各种计算方法仅适用于常模参照测验.3.标准参照测验的信度问题必须以概化理论为依据.4.不同类型的测验，信度的要求是不一样的.5.用不同方法估计的信度也会有所差异.理论假设：X=T＋E；S²X=S²T＋S²E信度：测量结果的稳定性(一致性)程度.类型重测复本内部一致性：分半、同质性评分者本章小结测验条件、样本性质及估计方法不同,信度不同.