人事测评第1112讲 人事测评的心理测量学基础

第一节心理特质及其可测性假设一、心理特质的含义心理特质就是表现在一个人身上所特有的相对稳定的行为方式。l一组内部相关的行为的概括，如善良、聪明；l比较稳定，对不同的刺激做相同的反应；l通过特质可以对人的行为作出预测；l特质可以分为多个层次，智力可以分语言和操作，语言可以分为词汇和文法。二、心理特质的可测性lThorndike“凡客观存在的事物都有其数量。”lMcCall“凡有数量的东西都可以测量。”第二节测量误差及其来源一、测量误差的含义由那些与测量目的无关的因素导致的不一致和不准确的测量效应。二、测量误差的种类系统误差：测量工具本身引起的误差（可控）；随机误差：由不稳定因素引起的误差（不可控）。三、测量误差的来源（一）测量工具（测验内部）引起的误差1题目取样2指导语3难度4时限5测验复本不等值（二）由测量对象引起的误差1测验的经验2练习因素3应试动机4测验焦虑5反应定势6生理因素（三）由施测过程引起的误差1物理环境2主试者方面3意外干扰4评分计分第三节真分数及其有关的假设一、真分数的含义真分数（TrueScore）：一个测量工具在没有测量误差时，所得到的纯正值。操作定义：经过无数次测量所得到的平均值。观察分数（ObservedScore）：实际的测量分数（外显的混合分数）二、数学模型及其假设X=T+E测量误差的假设：Σ（X）=T或Σ（E）=0ρ（T，E）=0ρ（E1，E2）=0SX2=ST2+SE2ST2=SV2+SI2SX2=SV2+SI2+SE2SV2SI2SE2SX2ST2第六章测量信度第一节信度概述一、什么是信度？信度（reliability）是指测量结果的一致性程度，也叫测量的可靠性。操作定义：rxx=ST2/SX2rXX=ρTX2rXX=ρXX’注意：（1）信度指的是一组测验分数或一系列测量的特性，而不是个人分数的特性；（2）真分数的变异数是不能直接测量的，因此信度是一个理论上构想的概念，只能根据一组实得分数作出估计。注意：（1）信度有多种。（2）同一种信度也会因样本、测查时间不同而有多个。（3）信度只是对测量分数一致性的估计，但并没有指出不一致的原因。（4）获得较高的信度只是测验有效的必要条件。三、信度的作用信度是测量过程中所存在的随机误差大小的反映1．信度可以用来解释个人测验分数的意义SE=SX√1-rXX真分数的置信区间（95%）=X±1.96SE2．信度可以帮助进行不同测验分数的比较第二节信度的估计方法一、重测信度1．含义和计算重测信度（test-retestreliability）是指用同一量表对同一组被试施测两次所得结果的一致性程度。皮尔逊积差相关系数误差来源：测量时间不同所带来的随机误差2．使用的前提条件所测量的心理特质必须是稳定的；练习和遗忘的效果基本上相互抵消；在两次施测的间隔时期内，被试在所要测查的心理特质方面没有获得更多的学习和训练。二、复本信度1．含义和计算复本信度（Alternate-formreliability）是指两个平行的测验测量同一批被试所得结果的一致性程度。皮尔逊积差相关系数等值性系数：两个复本测验是同时连续施测的稳定等值系数（重测复本信度）：两个复本测验是相距一段时间分两次施测的。2．使用的前提条件l两测验真正平行；l被试要有条件接受两个测验。三、分半信度1．含义和计算分半信度（split-halfreliability）是指将一个测验分成对等的两半后，所有被试在这两半上所得分数的一致性程度。校正后的皮尔逊积差相关系数校正公式：斯皮尔曼-布朗公式rxx=2rhh/（1+rhh）常见的分半方法是按测题序号奇偶分半：测验题目按某种顺序（如难度）排列；如果是随机排列的题目，则必须是所有题目是平等的（要么难度相等，要么性质一致，是测同一个心理特质的）；如果测验有多个分量表，应在分量表内部排好顺序，再把各分量表的两半组合起来求相关。弗朗那根公式：rxx=2[1-（Sa2+Sb2）/Sx2]卢仑公式：rxx=1-Sd2/Sx22．使用的前提条件一个测验可以分为对等的两半时四、同质性信度1．含义同质性信度（homogeneityreliability），也叫内部一致性系数，是指测验内部所有题目间的一致性程度。2．计算及适用范围rxx=K/rij[1+（K-1）rij]KR20公式：rxx=[K/（K-1）][1-（Σpiqi）/Sx2]pi为答对第i题的人数的比例；qi为答错第i题的人数的比例。K为题目数，Sx2为测验总分的变异。KR21公式：rxx=[K/（K-1）][1-（Kpq）/Sx2]克龙巴赫α系数：α=[K/（K-1）][1-（ΣSi2）/Sx2]荷伊特信度：rxx=1-MS人×题/MS人因子分析一般用于预测的测验或学绩测验可不考虑同质性。而验证理论构想时必须考虑同质性。因此，同质性不但与信度有关，还与效度有关。五、评分者信度1．含义和计算评分者信度（scorerreliability）是指多个评分者给同一批人的答卷进行评分的一致性程度。2人时：相关系数多人时：肯德尔和谐系数W=12[ΣRi2-（ΣRi）2/N]/[K2（N3-N）]（评分者人数K=3~20；被评者人数N=3~7时，查W表检验）RI为第i个被试被评的水平等级之和信度误差变异来源重测信度时间取样复本信度（连续施测）内容取样复本信度（间隔施测）时间与内容取样分半信度内容取样同质性信度内容取样和内容的异质性评分者信度评分者间的差异各种信度系数相应误差变异的来源第三节提高测量信度的方法一、影响测量信度的主要因素（一）被试方面被试团体同质性越高（个体差异越小），所得相关系数（信度）就越低。被试团体异质性越高（个体差异越大），所得相关系数（信度）就越高。（二）主试方面指导语、态度、期望、评分主观等（三）施测情境（四）测量工具测验长度：测验越长，信度越高。测验难度：过难或过易都会使个体间得分差异减小，降低信度。测验内容：试题取样不当，内部一致性低，题意模糊，信度则低。（五）两次施测的间隔时间间隔时间越短，信度越高；间隔时间越长，信度越低。二、提高测量信度的常用方法1.适当增加测验的长度2.使测验中所有试题的难度接近正态分布，并控制在中等水平3.努力提高测验试题的区分度4.选取恰当的被试团体，提高测验在各同质性较强的亚团体上的信度5.主试者严格执行施测规程，评分者严格按照标准给分，施测场地按测验手册的要求进行布置，减少无关因素的干扰第四节信度的特殊问题一、速度测验的信度问题因为速度测验的题目难度都很低，所以不能用奇偶分半求分半信度；可以将测验分两半来施测。因为几乎不可能把题目做完，所以同质性信度不适用。可以用重测信度和复本信度。二、标准参照测验的信度问题总体越同质，相关系数越低。所以，用通常的方法来算标准参照测验的信度是不适当的。可以用复本，通过人数的百分比差别越小，信度越高。三、分测验的信度除整个测验的信度外，各个分测验也应有信度，否则，从分测验得分来做推论就会出问题。四、差异的信度比较两门课成绩的差异，若两门课的信度都不可靠时，二者的差别更不可靠。五、行为改变（变迁）的测量行为改变：要求测验对分数的差异越敏感越好信度：二者的矛盾难以调和信度好坏的判断标准标准化能力或学绩测验：0.90人格测验：0.80教师自编学绩测验：0.60测验使用时的信度标准一般来说，当信度0.70，测验不能用于对个人作出评价与预测，而且不能作团体间比较；当0.70≤信度0.85时，可用于团体比较；当信度≥0.85时，才能用来鉴别或预测个人成绩。测量效度第一节效度概述一、什么是效度效度（validity）是指一个测验或量表实际能测出其所要测的心理特质的程度。（1）效度是一个相对的概念：每个测量工具都有自己的目的。（2）效度是测量的随机误差和系统误差的综合反映。（3）判断一个测量是否有效要从多方面收集证据操作定义：效度=SV2/SX2=rXY2SV2SI2SE2SX2ST2二、效度与信度的关系（一）信度高是效度高的必要而非充分的条件一个测验效度高，其信度也必然高；但一个测验信度高，其效度不一定高。（二）测验的效度受它的信度制约rXY≤rXX一个测验的信度必然比效度高，至少相等。第二节内容效度一、内容效度的性质内容效度（contentvalidity）是指测验题目对有关内容或行为取样的适当程度，即一个测验实际测到的内容与所要测量的内容之间的吻合程度。因此，一个测验要有内容效度必须具备两个条件：（1）要有定义完好的内容范围（2）测验题目应是所界定的内容范围的代表性取样。二、内容效度的确定方法（一）逻辑分析法：专家判断根据自己的知识经验对量表的有效性（逻辑性）作出判断，也称逻辑效度。为使内容效度的判断过程更客观，一般采用下列步骤：①确定测验内容的总体范围；②编制双向细目表；③编制评定量表，从测验内容所测的技能、题目对所定义的范围的覆盖率、各种题目数量和分数的比例以及题目形式的适当性等方面，对测验作出总的评价。（二）统计方法：用两个测验复本来测同一批被试，若相关高，则内容效度可能高，但若相关低，则说明必有一个测验缺乏内容效度。（三）经验法：再测法前测→教学→后测如果后测成绩优于前测成绩，说明该测验具有一定的内容效度。三、内容效度的特点和评价1.适用范围：内容效度主要应用于成就测验，也适合于某些用于选拔和分类的职业测验。但不适用于能力倾向测验和人格测验。时间性2.缺乏理想的数量指标3.内容效度不是表面效度表面效度（surfacevalidity）：外行人对某个测验从表面上看好像是测某种心理特质的程度。并不是一种真正的效度。人格测验要求表面效度不宜过高。第三节结构效度一、构想效度的定义结构效度（structurevalidity）是指一个测验实际测到所要测量的理论结构或特质的程度，或者说测验分数能够说明心理学理论的某种结构或特质的程度。特点：（1）具有不同理论构思的测验，其结构效度是无法进行比较的；（2）结构效度有时很难获得；（3）结构效度没有单一的指标，是由各方面的证据累积起来进行评价的。二、结构效度的确定方法结构效度确立的一般步骤：（1）提出理论框架；（2）依据理论框架推演出有关测验成绩的假设；（3）用逻辑或实证的方法来证明假设。具体方法：（1）测验内部寻找证据法l分析测验的内容效度：若内容效度高，说明其结构效度也高；l分析被试对题目反应的特点：有无社会称许性的题目，如“当事情不顺我意时，我时常动怒。”对该题的回答，也许反映不了要测的性格。l计算测验的同质性信度：分半信度、α系数、KR20、KR21（2）测验之间寻找证据法l相容效度：新老测验之间的相关（两测验测的是同一心理特质）。若相关高，则说明新测验可能有较高的效度。l区分效度：新老测验之间的相关（两测验测的不是同一心理特质），若相关低，则说明新测验可能有较高的效度。l因子分析法：得出的因素符合理论的构思，说明效度高。（3）考察测验的实证效度法l根据效标把被试分组，考察其得分差异。l根据测验得分差异把被试分组，考察其所测特质（行为表现）的差异。（4）多种特质-多种方法矩阵法方法：1、2、3特质：A、B、CMultitrait-multimethodmatrix多特质多方法矩阵•Method1TeacherratingMethod2TestsMethod3Observers’ratingA1B1C1A2B2C2A3B3C3M1A1诚实(.89)B1攻击性.43(.89)C1智力.36.32(.76)M2A2诚实.62.03.20(.93)B2攻击性.22.70.13.40(.94)C2智力.10.13.64.22.30(.84)M3A3诚实.59.11.02.60.20.21(.94)B3攻击性.14.82-.16.13.61.23.30(.92)C3智力.21.10.72.06.19.52.49.36(.85)rofdifferentmethod/sametrait:ConvergentvalidityReliabilityWh