情景判断测验

情景判断测验的一般开发程序(SituationalJudgmentTests，SJTs)试题题干（行为情景）的设置确定测验的反应指导语标定每个行为反应项的标准答案确定测验的评分方法编写情景的可能行为反应项01试题题干（行为情景）的设置搜集情景测验试题题干素材收集情景素材、确定情景的仿真度关键事件法主题专家法（最广泛）档案记录法关键事件访谈法问卷法理论导向法关键性事件信息完备性事件的典型性和普遍性情景需要满足的要求SSITUATION情景RESULT结果TARGET目标ACTION行动星星ATRPage6【案例】安妮是公司的物流主管。物流主管负责将客户从海外运过来的货，清关、报关，并把货提出来，然后按照客户的需求运到客户那里，负责整个物流的顺利进行。这家公司很小，共有20位员工，只有安妮一人负责这项工作。物流工作除了她再没人懂了。在刚进行完一月份考评后，安妮二月份就发生一件事情：她80多岁的祖母，在半夜里病逝了。她由祖母从小养大，祖母的病逝使她很悲伤。她为料理后事，人很憔悴，也病了。碰巧第二天，客户有一批货从美国进来，并要求清关后，要当天六点钟之前准时运到，而且这是一个很大的客户。安妮怎么做呢？她把家里的丧事放在一边，第二天早上九点钟准时出现在办公室，她的经理和同事都发现，她的脸色铁青，精神也不好，一问才知道家里出了事。但是，这个小女孩什么话也没说，一直做着进出口报关、清关的手续，把货从海关提出来，并且在下午五点钟就把这批货发出去了，及时运到了客户那里。然后，五点钟时，她就下班走了，可公司是六点钟下班，她提前走了，回去处理祖母的丧事去了。STAR分析当时的情景Ｓ是：安妮的祖母头一天晚上病逝了。当时的目标Ｔ是：为了第二天把一批货完整、准时的运到客户那里。当时的行动Ａ是：她置家里的事于不顾，准时出现在办公室，提前一个小时把货发出去了。当时的结果Ｒ是：客户及时收到了货，没有损伤公司的信誉。Page8主题专家法请在职者或他们的上司提供工作中的一些情景。访谈、问卷调查等手段搜集职务专家（在职员工、直接主管、其他熟悉该职位工作的相关人员）工作中遇到的一些工作情景；在描述每个工作情景的时候，可以采用结构化的格式，要求由职务专家说明当时的情景、如何处理以及结果如何。让受访者描述最近由自己主导的在管理工作中遇到的棘手的事件，详细描述事件发生的时间、地点、起因、经过、结果、背景、人物，当时的想法，采取的措施，事后的看法。•(1)事件的编辑整理。通过行为事件访谈收集到所有事件，有些复杂事件里又含有几个简单的事件，需进一步提炼。•(2)采用专家讨论法对情景的典型性进行评定。在专家评定的基础上进行统计，保留代表性和复杂度都合适的情景，最后挑选出几个典型情景。对“关键事件”进行筛选、编辑和修订，以这些关键事件为基础，设计测验的情景部分。典型情景的挑选具体操作步骤如下：档案记录法Hunter(2003)在关于飞行判断的研究中，利用事故报告来识别飞行员所面临的挑战性情境。为了其他目的而记录的事件（如，事故报告、保险调查报告、行动后报告），档案记录法应该成为SJT所需事件的丰富的渠道来源测验的编者编写试题测量某个特定的结构，可以是一组胜任力，也可以是某种能力或者人格，使SJT的题干能反映某些潜在的模型。近些年，这种方法也越来越流行。理论导向法•Becker(2004)开发出了一套测量诚实的SJT，题目的编写反映了其关于诚实的理论模型中的7种价值观（仁慈、诚实、独立、正义、生产力、自豪和理性）。•Stevens和Campion(1994,1999)识别出了团队工作的5个维度，设计开发出了评估团队工作知识、技能和能力(KSAs)的一套SJT。题干的仿真度收集到情景并改变成题干后，还要确定题目的仿真度（题干的真实性程度），或真实地再现工作任务要求的程度。纸笔式：文字描述录像式：录音口语描述、影视短片高表面效度、小危害、少认知、开发复杂昂贵·反应形式上的差异，例如：纸笔、计算机、互联网等形式，可能会导致反应上的差异。行为反应项的编写02行为反应项的编写•行为反应项是供被试直接评价判断的对象。•要求：•（1）问题针对性•（2）区分鉴别能力•（3）数量恰当并能按强度排成序列行为反应项的编写方法•主题专家法•第一种方法，对一批在职员工进行施测，要求他们针对情景部分中的问题找出较好的解决办法。第二种方法，采用行为事件访谈(BEI)的方法，通过比较绩效优异者与绩效平平者的可能反应的差别获得不同的反应项目。•结构导向法•测验开发者针对情景部分中的问题编写行为反应项来测量特定的结构。•编辑、整理可能的行为反应项。应•注意：•注意一个行为反应项只有一个行为；•尽量避免“首先，然后”的情况；•去除与情境无关的作答反应方式；•对意思相近或相同的行为反应进行归类、合并；C数量恰当，一般应有3至5个反应项，并且按强度可排序D反应项要尽量降低社会的称许性好的行为反应项的特点A反应项必须与所设置的情景有关B有较强的区分鉴别能力,即通过做答能具体反应出被试能力的强或弱确定反应指导语03反应指导语•反应指导语是测验中向答题者说明以何种方式进行答题的部分。•情景判断测验的反应指导语主要有两大类：一类是知识行为指导语或最佳行为指导语；一类是行为倾向指导语或典型行为指导语。•前者要求被试对行为反应项的有效性进行评价，后者要求被试选择自己可能采取的行为反应项或评价自己采取各行为反应项的可能性大小。行为反应项的标答04行为反应项的标定•为了评判被试的水平，必须先有一个评判的标准，即标定好的各行为项（标答），再把被试的作答和标答进行对比，最后赋分。•答案的标定方法有三种：实证法、理论法、专家法。实证法•(1)选择工作绩效为效标，用得较多的是直接主管的考核法；•(2)求相关。先计算出各行为项上的得分，再计算得分与效标的相关，被试的绩效越高，该反应项越好；•(3)确定行为反应项是否正确的规则。•有研究认为确定的规则有(a)选择该项的人数不能少于25人；(b)效标关联效度不能低于0.1。实证法的不足之处在于它对样本的强依赖性。•缺点：样本量大理论法理论法是基于理论或结构来判断行为项好坏的方法。此法能克服实证法受样本影响的局限性，易于理解，但有人认为这种方法过于主观，并且其标定行为反应项的基础——理论或结构并不一定正确。•专家法•所谓专家法是一种是请专家先对反应项评判，讨论后达成一致意见。没有达成的选项要修改甚至删除。也可以根据专家独立评判出的结果来确定选项的标定。•另一种是新手专家比较法。请一批专家和一批新手进行测试，然后通过比较新手和专家的作答来确定行为反应项的标答。一般专家选择频率高但新手选择频率低的行为反应项视为好的或正确的选项，而新手选择频率高但专家选择频率低的行为反应项则视为不好的或错误的选项。测验评分方法的确定05计分方法5.1迫选法•5.25.3Likert量表法以利克特量表形式呈现测验,令被试对每一选项在等级量表上评出值,再计算出被试评出值与专家设定值的离差,离差小者为优,或者是不求离差而求相关系数值,这时,要求反应选项的个数应多,或者是只考察最有效(最愿意)项上的离差。题干（行为情景）行为反应项反应指导语THANKS