效度的概念MicrosoftWord文档(4)

效度的概念效度是指所测量的与所要测量的心理特点之间的符合，简单说测验的效度指的是测验的准确性,即测验分数与要测量的心理特质的之间符合的程度,或测验结果达到测验目的的程度。效度总是针对一定的测验目的而言的。效度具有相对性。与测量目标直接相关。二、效度的性质（一）效度具有相对性评价测验效度时，必须考虑其目的与功能（二）效度具有连续性效度只是程度上不同，没有“全”或“无”的区别评价一个测验，不应该说“有效”或“无效”，而应该用效度较高或较低来评价测验有效性是针对测验结果而言第二节内容效度定义指测验条目对有关内容或行为取样的适用性测验都不是绝对客观和准确的。效度具有连续性。不能简单地分为有效和无效。测量题目对有关内容或行为取样的适用性。——概念界定和题目代表性。标志题目样本对内容总体的代表性2、内容效度的评估方法1）专家判断法/逻辑效度主要针对成就测验避免评分者误差，客观化的几个步骤：①、定义好测验内容的总体范围，描述有关的知识与技能及所用材料的来源；②、编制双向细目表，确定内容和技能各自所占的比例，并由测验编制者确定各题所测的是何种内容与技能。③、制定评定量表来测量测验的整个效度，如测验包括的内容、技能、材料的重要程度、题目对内容的适用性等。由各位评判者在评定量表上做出判断，总估获得测验内容效度的证据。2）统计分析法评分者信度、克伦巴赫法、再测法3）经验推测法通过实践来检验，如检验儿童发展量表的效度，观察不同年龄阶段儿童通过率是否随年龄的增长而增加验证测验内容效度的程序专家评判法（双向细目表）、统计分析法（再测法）、经验推测法（试测发展变化）。3、内容效度与表面效度v表面效度：测验表面看起来是否有效,受测者主观上认为测验题目是否测量了所要测的心理特质。v表面效度的影响：受测者者效应§影响受测者的测验动机§隐蔽性与表面效度（2004首都师大考名词解释）的关系：表面效度影响被试动机、情绪、反应方式，及主试与被试的关系，从而影响内容效度。表面效度好，可使被试尽力完成，提高效度；也可虚假反应，降低效度。最佳行为测验往往表面效度高，其他测验则希望表面效度低。职业兴趣测验、成就测验应重视表面效度，人格测验的表面效度不宜高，避免被试反应偏差，如掩饰等。2、构想效度/结构效度1）定义涉及心理理论概念问题指测验能够测量理论上的构想或特质的程度测验的结果是否能证实或解释2）估计方法A、对测验本身的分析构思效度的证据：测验的内容效度；测验的内部一致性指标；被试者对题目的反应特点；B、测验间的相互比较相关法（相容效度）、区分效度、因素分析法。与经典、成熟同类测验比较：二者相关系数的平方即两测验分数共同解释的变异大小，称相容效度区分效度：有效的测验与其他测量同一构思的测验成绩有相关，还与测量不同构思的测验成绩无相关因素分析法。C、用效标效度做证明D、实验法和观察法3、效标效度/实证效度1）定义：反映预测个体在某种情景下行为表现的有效性程度被预测的行为是检验效度的标准，简称效标2、效标关联效度效标关联效度：测验结果与作为校标的行为参照的一致性程度。分为同时效度和预测效度。同时效度与预测效度v根据效标资料获得时间不同可以将效标关联效度分为同时效度和预测效度。§同时效度指测验所的分数与同时获得的效标行为的一致性程度，用以检查和测量现有某种能力或特质的有效性。§预测效度指测验对效标行为的预测程度，用以表明测验对某种行为预测的有效性。好的效标测量应符合以下几个条件：①效标测量必须真实地反映观念效标的重要侧面；②效标测量必须稳定可靠；③效标测量必须客观，避免偏见；④在保证有效性的前提下，效标测量必须尽可能简单、省时、花费少。效标效度的评估方法1）相关法：最常用，积差相关法，点二列相关，二列相关3）命中率法：当测验作为取舍的依据时，用其正确决定的比例作为效度指标额一种方法。三、效度的功能1、预测误差效度系数的实际意义常以决定系数r2xy表示，即相关系数的平方，它表示测验正确预测或解释的效标的方差占总方差的比例。如：高考英语成绩与入大学后第1学年英语课考试成绩的相关为0.8，正确预测的比例是64%。2、预测校标分数y是预测的校标分数a截距byx是斜率x是测验分数四、影响效度的因素1、测验本身的因素：取材的代表性、测验长度、试题类型、难度、区分度以及编排方式等测验较高效度须：材料须有代表性题目尽量避免高误差题型（是非题）题目难度适中，具有较高的区分度测验长度恰当一定的测题量排列先易后难2、测验实施中的干扰因素1）主试者：非标准化做法2）被试：兴趣、动机、情绪、态度和健康状况等3、样本团体的性质1）异质性：越异质—分数分布范围大—效度越高A、只以选拔上的被试——效度降低B、选拔标准太高——效度降低干涉变量效标的性质第五节项目分析定性分析：内容效度，题目编写的恰当性和有效性等定量分析：是指对题目难度和区分度等进行分析1、难度概念v难度是指测验题目的难易程度。定义为受测者在某个题目上的通过率或得分率。396P代表项目的难度N为全体被试者人数R为答对或通过该项目的人数对两级记分的题目，项目的难度：§对多级记分的题目，难度计算公式为：§难度的高低与难度值的大小相反。2.团体难度的计算vP=(PH+PL)/2—高分组和低分组通过率的平均值。§例：某个测题高分组有80%的受测者通过，低分组12%的受测者通过，其难度是多少？3、选择题难度校正§校正公式：§75%的受测者通过某项目，对于有5个、4个、3个、2个备选项目的选择题，校正后的难度为多少？二分法记分的项目通过记1分，错误记0分当被试人数较多时，可根据测验总成绩将被试分成三组高分组（NH）：分数最高的27%被试低分组（NL）：分数最低的27%被试中间组：分数中间的46%被试P=(PH+PL)/2—高分组和低分组通过率的平均值P代表难度PH高分组通过率PL低分组通过率（2）非二分法记分的项目当测验项目为问答题或不能用二分法记分，常常又需对部分正确的反应给一定分数。X为全体被试者在该题上的平均分397Xmax为该题的满分3、难度水平的确定（1）项目的难度难度取决于测验的目的、性质、形式P值越接近于0或接近于1，越无法区分被试者之间能力的差异P值越接近于0.50，区别力越高4、注意事项1）测验用于选拔或诊断，应较多选择难度值接近录取率的项目2）对于选择题：一般P值概率水平是非题：P值=0.75最合适四选一题目：P值=0.63最合适P值=概率水平：题目可能过难或题意不清，被试凭猜测回答P值概率水平：无意义，说明题目质量有问题3）为了使测验具有更大的鉴别力，应选择难度在0.50左右的试题比较合适。每道题都是0.5，一方面不太可能做到，一方面，题目间的相关会很高。一般，把测验的平均难度控制在0.5，而每道题可在0.3-0.7中波动二、区分度/鉴别指数1、鉴别指数1）按测验总分高低排列答卷；2）确定高分组与低分组，每一组取答卷总数的27%3）分别计算高分组与低分组在该项目上的通过率或得分率4）鉴别力指数计算方法：D=PH–PL区分度的取值范围-1.00-+1.00。D正值为积极区分，值越大效果越好。为负值为消极区分，被试实际能力越高，得分反而越低该项目应该淘汰0为无区分。伊贝尔（L.Ebel）项目鉴别指数与评价标准0.40以上------很好0.30-0.39-----良好，修改后会更佳0.20-0.29-----尚可，但须修改0.19及以下---差，必须淘汰三、区分度与难度之间有密切关系项目的通过率为1.00或0，则说明高分组与低分组在通过率上不存在差异，鉴别指数D为0。项目的通过率为0.50，则可能高分组的所有人都通过了，而低分组却无人通过，这样D的最大值可能达到1.00。一般，较难的项目对高水平的被试者区分度高，较易的项目对水平低的被试者区分度高。项目难度的分布以常态分布为好，即特别难与特别易的项目少些，接近中等难度的项目多些，而所有项目的平均难度为0.50，这样不仅能保证多数项目具有较高的区分度，而且可以保证整个测验对被试具有较高的区分能力。第六节测验的编制（一级）1、测验的用途：显示性测验：表明被试具有什么能力、能完成什么任务。智力测验预测性测验：选拔、预测，如GRE，职业兴趣测验高考既是显性有事预测性测验。2、测题的编写题目来源:1)已出版的标准测验2)理论和专家的经验3)临床观察和记录3、测验的目标分析目标分析因测验不同而异，一般可分为三种情况：工作分析对特定概念下定义确定测验的具体内容4、命题原则1）内容：符合测验目的；取样有代表性；相互独立。2）文字：使用准确的当代语言，避免生僻字词；简明扼要，排除与答案无关的因素；一句话说明一个概念3）理解：答案确切、易懂。4）避免社会敏感性题目。5、编写选择题的原则：题干所提的问题必须明确选项简明扼要每题只有一个正确答案各选项长度应相等避免题干用词与选项一致，否则成了选择答案的线索选项最好用同一形式。6、是非题编写原则每题只包含一个概念。避免使用具有暗示性的特殊词语，如“绝对”、“完全”、“有时”、“可能”等。尽量采用正面肯定的叙述，避免反面陈述或双重否定的句子。“是”与“非”的题数应大致相等，且随机排列。7、简答题的编写原则最好采用问句形式填充形式的空格不宜太多每题只有一个正确答案操作题编写原则明确所要测量的目标，并将其操作化指导语要简明扼要制订评分标准，确定计分方法尽量选择真实性程度较高的项目三测验的编排和组织v一、合成测验§1.选择与审定试题——选择试题形式（测验的目的和材料的性质、接受测验的团体的特点、各种实际因素）、审定题目（题目范围与双向细目标一致、题量多一倍至几倍、难度恰当、题目说明清楚）§2.测题的编排：难度逐步上升、同类型题目组合在一起、根据测题本身的特点排列题目。——并列直进式、混合螺旋式测题的编排测验编排的一般原则:1）测题的难度排列宜逐步上升2）尽可能将同类型的测题组合在一起3）注意各类测题本身的特点两种常见的排列方式：并列直进式混合螺旋式408预测与项目分析§1.预测（时间、地点、人物、记录）§2.项目分析v三、信度和效度考察v四、常模制订v五、编写指导手册第七讲心理测验的使用第一节主测者的资格一、知识结构（基础知识、专业知识）二、专业理论知识（测量学）和专业技能（施测）三、职业道德1.测验的保密和控制使用2.测验中个人隐私的保护主试的职业道德1）测验的保密和控制使用2）测验中个人隐私的保护v一、适合测量的目的v二、符合测量学的要求第三节测验前的准备及注意事项一、测验前的准备工作1.预告测验2.准备测验材料3.熟悉测验指导语4.熟悉测验的具体程序二、测验中主测者的职责1.严格遵循指导语，不带任何暗示2.不讲太多无关的话3.不做出暗示性反应4.做好应付突发事件的准备三、建立协调关系第四节测验实施的程序及要素一、指导语：1.对受测者的指导语（举例说明）（如何选择反应形式、如何记录反应、时间限制、不能确定时应如何操作、例题、有时告知测验目的）2.对主测者的指导语：严格遵守，不要发挥二、时限三、测验的环境：适宜、异常情况要记录第五节受测者误差及控制方法v一、应试技巧和练习效应v二、动机与焦虑因素v1.应试动机：强度影响、期望效应v2.测验焦虑（保安的情况）：适度的测验焦虑v三、反应定势：独立预测验内容的反应倾向v1.求快求精确2.喜好正面叙述（肯定定势）3.喜好特殊位置4.喜好较长选项5.猜测第六节测验的评分v一、原始分数的获得（记录清楚、有记分键、分类）v二、原始分数的转换第七节测验结果的报告一、测验分数的综合分析1.测验分数作为一个范围2.考虑个人经历、测验情景3.有信效度资料4.不同测验分数不能直接加以比较二、报告分数的建议不直接告知分数、避免使用专业术语、当事人知道测的是什么、当事人知道常模团体、指导如何运用分数、考虑分数对当事人的心理影响、让当事人积极参与测验分数的解释