03-测量效度与系统误差控制

第三章测量效度与系统误差控制高等教育出版社心理测量学高等教育出版社第三章测量效度与系统误差控制测量效度概述1测量工具效度验证的方法2测量的系统误差控制3心理测量学高等教育出版社第三章测量效度与系统误差控制测量效度概述1心理测量学高等教育出版社测量效度概述什么是效度测量工具测量了他所希望测量的心理特质或行为特征的效果和程度。效度总是与一定的测量目标相联系的。我们称为某测量工具进行效度验证的过程为效度证据的获取过程，简称为效度验证。心理测量学高等教育出版社测量效度概述测量学定义：S2X=S2T+S2ES2T=S2V+S2IS2X=S2V+S2I+S2Er2xy=S2V/S2XrXX=S2T/S2X心理测量学高等教育出版社测量效度概述效度与信度的关系信度研究的是测量结果的稳定性问题，效度研究的是测量结果的准确性问题。测量的信度只受到随机误差或非系统测量误差的影响，而测量效度会同时受到随机误差和系统测量误差的影响。一个测量工具可能是非常稳定（信度高），但却是无效的，因为他与测量的目标之间产生了系统性的偏差；当然，一个完全不稳定的测量工具也不可能是有效的。心理测量学高等教育出版社第三章测量效度与系统误差控制测量工具效度验证的方法2心理测量学高等教育出版社测量工具效度验证的方法根据测量目标的不同，对测量工具进行效度验证的方法主要有三种：基于所测内容的效度验证方法。基于所测心理结构的效度验证方法。基于效标关联性的效度验证方法。心理测量学高等教育出版社测量工具效度验证的方法基于所测内容的效度验证方法含义•就是要对测量工具本身的具体内容进行系统性的查验，以确定这些内容是不是测量目标特质或行为领域的一个有代表性的样本。主要应用•学业成就测验、职业资格测验，还如人员选拔与安置中的工作样本测验。欺负研究言语欺负身体欺负关系欺负心理测量学高等教育出版社测量工具效度验证的方法基于所测内容的效度验证方法评估方法•确定测量目标的全域范围及各部分内容权重。•确定一批有经验的领域专家，在深入培训的基础上，要求他们按照已确定的测量全域范围及各部分内容权重，初步分析测试题目的代表性，并对题目测量的被试作答的内部心理过程进行初步分析。•进行实测，根据测试数据分析和被试作答过程分析，全面验证测量工具的效度。心理测量学高等教育出版社内容效度评估方法：专家评判法（双向细目表）、统计分析法（再测法）、经验推测法（试测发展变化）。内容效度比CVR=(ne-N/2)/(N/2);ne表示认为项目很好地表示了测量内容范畴的评判者人数。内容效度的特性：注意区分内容效度和表面效度测量工具效度验证的方法心理测量学高等教育出版社测量工具效度验证的方法基于所测内容的效度验证方法关于测量工具的表面效度•严格来说，表面效度并不符合效度的定义，因为他反映的不是实际要测量的目标是什么，或对目标测量的程度如何，而反映的是，测量工具从表面上看测量了什么。•表面效度关心的是测量的友好性和与公众的和谐关系。心理测量学高等教育出版社测量工具效度验证的方法基于效标关联性的效度验证方法效标：它是独立于测量工具并可以从实践中获得的被试的行为特征表现，用于验证测量工具的有效性。根据测量工具与效标两者结果获得的时间间隔的不同，基于效标关联性的效度证据采集可以有同时性设计与预测性设计两种方法。量表业绩工作压力心理问题医闹创收晋升领导本我快乐自我现实超我良心心理测量学高等教育出版社测量工具效度验证的方法基于效标关联性的效度验证方法效度证据采集的预测性设计方法•含义：验证现有测量评价结果与将来才可能获取的效标评价结果之间的关联程度。•主要应用：人员选拔、安置类型的测量工具心理测量学高等教育出版社测量工具效度验证的方法基于效标关联性的效度验证方法效度证据采集的预测性设计方法•首先，获取被试在当前测量工具上的评价结果，如测验分数、等级评定；•然后，间隔一定的时间，采集被试在预测目标（效标）上的评价结果；•最后，分析以上这两个评价结果之间的关联性程度，这种关联性程度的分析方法常用的有以下几种：–相关分析–区分能力分析–命中率分析心理测量学高等教育出版社10198127512161252415263324134241314692125223112101012345678910工作成绩测验成绩心理测量学高等教育出版社命中率法(如何分析上页表格)效标成绩测验预测失败（-）成功（+）成功（+）A（失误）B（命中）失败（-）C（命中）D（失误）命中率法习题假设用某种测验选拔员工100人，经过一段时间的工作检验，得到以下四组数据：正确接受为42人，正确拒绝为34人，错误接受为10人，错误拒绝为14人。请算出该次选拔的总命中率。心理测量学高等教育出版社心理测量学高等教育出版社测量工具效度验证的方法基于效标关联性的效度验证方法效度证据采集的同时性设计方法•含义：对同时获得的测量工具评价结果与效标评价结果之间的关联性程度进行分析。•主要应用–经常用于评价测量工具诊断被试当前心理特质状态的效果。–在许多情形下，效度证据采集的同时性设计方法会替代预测性设计方法。•评估方法心理测量学高等教育出版社测量工具效度验证的方法基于效标关联性的效度验证方法基于效标关联性的效度验证方法的影响因素•群体的一致性或同质性程度：应该尽量扩大被试群体的异质性，避免低估测验的真实效度。•测验长度：一般来说，测验长度越长，测试结果越稳定，效度系数会倾向于越高。•效标污染心理测量学高等教育出版社测量工具效度验证的方法基于效标关联性的效度验证方法估计标准误•指的是测量工具实际测量的结果与预先设定的测量目标之间相互偏离的程度，而效度验证的过程就是要考察这种偏离程度的大小。•从实际应用范围及计算过程的便利性角度看，估计标准误的实际应用更多的是基于效标关联性的效度验证方法中。心理测量学高等教育出版社测量工具效度验证的方法基于效标关联性的效度验证方法估计标准误•是表现为相关系数的效度系数；是效标评定分数的标准差。21estyxySESrxyryS测量标准误与估计标准误TX同一种心理变量XY不同的变量心理测量学高等教育出版社2xyr2XTr21estyxySESr1XXXSESr心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法含义：对测量工具测量了心理学中某种特质或特质结构的程度进行验证的方法。主要应用：各种心理测验，如智力测验、人格测验、焦虑测验、成就动机测验等。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法•专家判断分析法–主要依靠专家的主观专业经验。–尽量减少专家主观随意性的影响。–德尔菲法。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法•测验内部一致性分析法–基于所测心理结构的效度验证的一个重要证据来源。–这个方法的实质是，测验总分本身是用于评价所测心理结构的效度最好的效标。–相关分析法：求取每个项目与测验总分之间的相关系数，如果项目—测验相关显著，表明该项目与总测验的结构是一致的。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法•测验内部一致性分析法–对照组比较法：按照被试的测验总分，选出一个高分组被试和一个低分组被试，然后，比较高分组被试与低分组被试在各个项目上的作答表现，如果高分组被试的通过比例显著大于低分组被试的通过比例，表明该项目与总测验的结构是一致的。心理测量学高等教育出版社基于所测心理结构的效度验证方法评估方法•测验内部一致性分析法–很明显，测验内部一致性证据保证的是测验结构的同质性或单一性。–测验内部一致性证据的作用是有限的，因为他毕竟无法证明该测验究竟测量了什么结构。测量工具效度验证的方法心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法•与现有研究结论一致性的分析法–通过分析新开发测量工具测试结果是否与已有研究结论相一致。–在许多传统智力测验中，成长发展性变化证据是测验效度的一个重要证据。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法评估方法•与其他测量工具的相关分析法–求取新开发测量工具与另一个已经被公认为有效的测量工具之间的相关关系，是证明新开发测量工具测量了相同内容结构的一个有效证据。–求取新开发测量工具与另一个测量工具之间的相关关系，有时候也被用于证明该测量工具没有受到其他无关心理因素的影响。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法•因素分析法（因素分析法的基本原理及因素旋转）–因素分析方法是基于所测心理结构的效度验证方法中几乎最为常用的一种方法，他很适合用于鉴别测量工具所测的心理特质结构。实际上，因素分析方法是一种分析观察数据之间相关矩阵的统计分析技术。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法•聚合与区分效度验证分析法–为了验证测量工具所测的心理结构，我们不仅必须提供关于它与另外一个理论上应该存在高相关的测量工具之间存在高相关的实际证据，同时，也需要提供关于它与另外的无关变量之间不存在显著相关的证据。–多特质—多方法矩阵分析法心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法•实验介入分析法–通过实验的方法考察某些重要变量的介入是否对被试测量分数产生显著影响。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法•结构方程建模分析法–除了鉴别测量的潜在结构之外，对这些潜在特质结构本身之间的关系以及它们之间的影响路径进行考察，同样是非常重要的。–分析潜在特质结构之间的关系及其与效标变量之间的路径，有利于我们更深入理解所测特质的作用机制。这种分析过程可以用结构方程建模的方式进行。心理测量学高等教育出版社测量工具效度验证的方法基于所测心理结构的效度验证方法其他评估方法•寻求当代认知心理学证据的分析方法–基于信息加工理论的研究方法为我们深入理解人类问题解决的加工过程提供了更丰富的证据。–认知加工模型让我们了解完成某种认知任务的智能过程、这个过程的组织方式、涉及的知识内容、这些知识在记忆中的表征形式及其提取模式，这些研究无疑会让我们对人类心理特质结构的认知更加深入。对分课堂讨论1、探索性因素分析和验证性因素分析的异同2、如何用spss做探索性因素分析3、如何用结构方程软件做验证性因素分析4、从第17届全国心理学学术大会的摘要集中，找出《心理测量》口头报告、张贴报告，并总结作者是如何在摘要中报告信度、效度等测量学指标的心理测量学高等教育出版社心理测量学高等教育出版社第三章测量效度与系统误差控制测量的系统误差控制3心理测量学高等教育出版社测量的系统误差控制影响测量工具有效性的因素测量的心理特质本身的特点•有些心理特质至今研究不够深入，概念界定还不清晰。•有些心理特质本身不太稳定。测量工具的建构过程•建构过程应遵循严谨的态度才能建构出优良的测量工具，避免出现系统偏差。心理测量学高等教育出版社测量的系统误差控制影响测量工具有效性的因素测量工具本身的信度•信度是效度的必要条件。效度验证时的被试群体•相同的一个测量工具，可能会因为测量对象特性的不同而测量到不同的心理特质结构。•作为用相关系数表示的效度系数，希望参与效度验证的被试群体越异质越好。心理测量学高等教育出版社测量的系统误差控制影响测量工具有效性的因素效标的选取•效标本身的信度及其有效性是非常关键的。其他因素•测验形式、测验长度、测试过程的组织、评价者的经验、记分方式、访谈中主试的经验等。高等教育出版社