第四章 测验题目性能与题目编制

心理测量学江西师大心理与教育统计测量中心引子心理测量的工具是测验，而题目则是构成测验的基石，因此研究题目的性能及其编制至关重要，它直接影响测量工具(即测验)的信度及效度，进而影响测量的准确性。在实际工作中，人们应如何来编制测验题目？如何评价测验题目质量的好差呢？本章将对这些问题做出回答。心理测量学江西师大心理与教育统计测量中心测验题目性能与题目编制测验题目类型、功能与题目编制1测验题目的难度与难度分布控制2测验题目的区分度与区分度的提高3测验题目的猜测度与猜测控制4选择题的选项分析与选项修改5题目功能差异与测量偏差控制6第四章测验题目的性能与题目编制测验题目的类型功能与编制第一节心理测量学江西师大心理与教育统计测量中心第一节一、测验题目类型题目主要可分为客观题和主观题两大类。客观题一般有标准唯一的答案，被试的作答只有与标准答案完全一致才视为答对，否则视为答错。主观题无标准唯一答案，只有一个参考答案，被试的作答与参考答案相近或基本一致就可视为答对。心理测量学江西师大心理与教育统计测量中心客观题主要包括选择题（含自陈式选择题）、填空题、是非判断题、匹配题、行为情景判断题等。主观题主要包括名词解释、简答题、计算题、证明题、论述题、案例分析题、作文题等。心理测量学江西师大心理与教育统计测量中心单项选择题多项选择题自陈式选择题是非判断题名词解释题简答题计算题证明题论述题案例分析题组合题行为情景判断题心理测量学江西师大心理与教育统计测量中心二、选择题1、定义：选择题指给出题干及备选项，要求被试根据题干从备选项中选出正确选项的题目。单项选择题指只有唯一正确选项的选择题。2、特点功能：①评分标准明确，评分客观，有利于减少评分带来的评分误差。②有利于对基础知识和基本技能进行考查。心理测量学江西师大心理与教育统计测量中心③选择题适合考查较低层次的能力，如识记能力、较低的理解能力等，而不宜考查较高层次的能力，如综合能力、创造性和独立思维能力。④选择题的命题技术要求较高，尤其是干扰项的设置。心理测量学江西师大心理与教育统计测量中心3、选择题编制题干要描述清楚。应让答题者明白问题是什么，希望答题者解决什么题干中应尽量避免出现与考核内容无关的材料设问应尽量正向，尽量少出现如“下面哪个是不对的？”的设问心理测量学江西师大心理与教育统计测量中心题干文字的字体应尽量一致（，以减轻考生的阅读负担备选项应避免出现逻辑上的包含关系备选项的长度、结构、语言表达要尽量一致增加干扰项的迷惑性干扰项的设置应能反应考生缺乏特定的知识或技能心理测量学江西师大心理与教育统计测量中心三、填空题1、特点功能：①考查的能力层次范围比较广，主要考核识记和理解能力。②填空题要求考生把问题的最后答案或结论正确无误地表达出来，在一定程度上是对考生的严谨、严密、认真、细致的工作作风和科学态度的检查。心理测量学江西师大心理与教育统计测量中心③评分简单，误差也相对要小。④填空题只要求考生写出最后答案，而不必写出解题的具体过程，因此，从试卷上看不出考生的推理、分析等思考过程心理测量学江西师大心理与教育统计测量中心2、填空题编制试题的空格处应考查有意义的关键性内容或词语。每小题的空格数不宜过多，填写的字数也不能太多。空格部分统一用下划线表示，长度应能满足答题需要若空格处考核计算能力并要求填写数字，应在空格后标明数字的单位心理测量学江西师大心理与教育统计测量中心三、论述题与计算题1、定义：论述题指对某一问题或议题进行综合论述的题目。它用于考查被试分析、综合、评价直至创新、创造等高层次能力。计算题指主要是通过计算或运算来解答的题目。计算题内容量有大有小，常常用于考查被试的应用能力。一般要求给出条件完备无冗余，答案唯一。心理测量学江西师大心理与教育统计测量中心心理测量学江西师大心理与教育统计测量中心2、特点功能：①论述题有利于考生独立地、创造性地解题。试题的能力考查涉及的知识面可以比较大，而且要求考生通过分析去找出所涉及的知识并找出它们的内在联系。试题从定性分析到定量计算，工作量一般比较大。心理测量学江西师大心理与教育统计测量中心②论述题和计算题不仅能够考查考生较低层次的能力目标，而且能够比较好地考查较高层次的能力目标。心理测量学江西师大心理与教育统计测量中心③论述题和计算题能够反映考生的思维过程，因而能比较有效地考查考生接受信息、鉴别和选择信息的能力，分析、推理、综合应用知识的能力，能鉴别出考生对问题解决的程度。心理测量学江西师大心理与教育统计测量中心④论述题和计算题可以根据试题相应情境进行不同层次、不同角度的设问，如可以是单问，可以是多问，也可以是分步设问，使试题的考查目标比较明确。心理测量学江西师大心理与教育统计测量中心⑤论述题、计算题在评分过程具有一定的主观性。⑥论述题、计算题的最大缺点是阅卷评分的工作量比较大，对阅卷人员的要求比较高，阅卷工作的费用较大。同时论述题、计算题评分误差较难控制，在控制不好的情况下，评分误差可能会很大。心理测量学江西师大心理与教育统计测量中心四、行为情景判断题1、定义：行为情景判断题多见于心理测验中，它指给出一个日常生活中或工作中的具体情景，并针对该情景提供若干解决这一情景下具体问题的行为选项，并要求受测者进行选择/评价的题型。2、特点功能：①与一般认知能力有较强的相关,平均达0.54②跟大五人格因素的多项因素有中度以上的相关,如跟责任心的相关为0.26,跟情绪稳定性的相关为0.32,跟宜人性的相关为0.25心理测量学江西师大心理与教育统计测量中心心理测量学江西师大心理与教育统计测量中心③跟所测领域个人的工作经验、工作年限有统计显著意义的相关。④有些情景判断测验作探索性因素分析,可提取出一个大的一般因素,这时测验的内部一致性系数可为0.86⑤对员工的工作绩效有较好的预测力,平均效度系数为0.36心理测量学江西师大心理与教育统计测量中心3、行为情景判断题编制①题目编制前应先确定所测特质的结构，然后在这一所测特质结构下征集或编写问题情景及行为反应项②问题情景应是现实生活中可能发生的，且有一具体的问题需要受测者来解决，解决问题的行为/方法不应是唯一的而是多样化的③问题情景应尽量叙述完整，清晰，语言规范，字数介于100-300④一般是根据相关有丰富经验的专家来确定行为项的优劣，然后将受测者的作答与专家的评定进行比较，从而确定具体的计分方式及评价标准心理测量学江西师大心理与教育统计测量中心心理测量学江西师大心理与教育统计测量中心⑤行为情景判断题设问方式一般有四种形式：一是要求受测者选择最优行为项，二是要求受测者选择最差行为项，三是要求受测者同时选择最优和最差行为项，四是要求受测者针对每一行为项的有效性做出评价。应根据实际选择具体方式。第四章测验题目的性能与题目编制测验题目难度与测验分布控制第二节心理测量学江西师大心理与教育统计测量中心第二节一、难度定义及其计算方法(一)难度定义难度是指题目的难易程度。如果一个题目绝大多数人都答对了，则这个题目比较容易；反之，若绝大多数人都答错了，则这个题目比较难。从难度定义可以看到，难度是题目性质与作答者群体水平共同作用的结果。难度这一概念更多地用于能力测验中，在非能力测验（如人格测验）中，一般称为“通俗性”（popularitylevel），即取自相同总体的样本中，在答案方向上回答该题的人数比。心理测量学江西师大心理与教育统计测量中心心理测量学江西师大心理与教育统计测量中心(二)难度计算方法1、得分率法得分率指所有被试在题目上的平均得分占题目满分的百分比。计算公式为iiiTXP心理测量学江西师大心理与教育统计测量中心iiiTXP心理测量学江西师大心理与教育统计测量中心2、极端分组法极端分组法是指将被试按测验总分分为高分组和低分组，以两组得分率的平均值作为题目的难度。极端分组法中，首先需对被试进行分组，根据被试的试卷总得分进行排序，各取首尾的27%（或25%、33%），组成高分组和低分组。心理测量学江西师大心理与教育统计测量中心2LiHiiPPP心理测量学江西师大心理与教育统计测量中心(三)题目难度计算实例例4-1下表是随机抽取22名被试在某数学测验中四道题目的得分情况，每题的满分分别为1分、2分、3分和4分，请分析其难度。心理测量学江西师大心理与教育统计测量中心心理测量学江西师大心理与教育统计测量中心(四)等距难度指标及其求取题目的难度一般用通过率或得分率来表示，计算比较方便，但这类变量属于顺序变量，不具有相等的单位，不能具体比较难度的差异。心理测量学江西师大心理与教育统计测量中心等距转换方法当测验分数接近正态分布，根据正态分布将试题的难度P作为正态曲线下的面积，转换成具有相等测量单位的等距量表，即Z分数。心理测量学江西师大心理与教育统计测量中心等距转换但是Z值常含有负值，因此不易理解，通常需转换为另一种等距变量，其中较为常用的是美国教育测验服务中心采用的难度指标：△＝13+4*Z式中△表示题目的难度，Z表示由P转换得来的标准分数。心理测量学江西师大心理与教育统计测量中心二、难度分布及其控制(一)测验试题难度分布对测验分数的影响1、难度对测验分数分布形态的影响当测验题目过难时，测验分数呈负偏态分布；当测验题目过易时，测验分数呈正偏态分布；当测验题目趋近中等难度，测验分数基本可呈正态分布。心理测量学江西师大心理与教育统计测量中心2、难度对测验分数离散程度的影响测验过难或过易，会使测验分数相对地集中低分端或高分端，这样被试的差异较小，即测验分数的离散程度很小，只有当测验趋近中等难度时，测验分数分布范围较广，离散程度就会大。心理测量学江西师大心理与教育统计测量中心(二)、合理难度及合理难度分布对于常模参照性测验而言，测验目的是为了区分被试、最大限度地将被试得分“拉开距离”。对所有被试而言，合理项目难度为0.5，分布范围应在0.3到0.7之间。心理测量学江西师大心理与教育统计测量中心对于目标参照性测验而言，其合理难度分布是：对于恰好合格被试而言难度为0.5左右窄全距分布，也即测验在合格与合格被试处有较高的区分能力。心理测量学江西师大心理与教育统计测量中心(三)、合理难度及合理难度分布的控制（1）对题目难度的控制主要从考核的知识点及其能力层次等方面进行控制。考核单一知识点的题目相对考核较多同类知识点的题目要容易。心理测量学江西师大心理与教育统计测量中心考核能力层次相对要低（如识记和记忆）的题目，其难度相对低，而对于考核能力层次高（如理解、综合应用）的题目，其难度相对会高。因而可以通过控制题目考核的知识点及其能力层次来达到控制试题难度。心理测量学江西师大心理与教育统计测量中心（2）对试卷难度分布的控制控制试卷难度分布是在控制试题难度的前提下进行，它主要是通过控制不同难度题目的比例从而达到所需的难度分布。如果测验是选拔性测验，则难、易题目所占比例应充分考虑选拔的比例；如果是常模参照性测验，则中等难度题比例要多，而偏难偏易的题比例要少；如果是目标参照性测验，不同难度题的比例应结合“目标”（如课程标准或《考试大纲》）本身来确定。心理测量学江西师大心理与教育统计测量中心第四章测验题目的性能与题目编制测验题目的区分度与区分度的提高第三节心理测量学江西师大心理与教育统计测量中心一、区分度的定义及其计算方法(一)、区分度定义区分度指题目对被试特质差异的区分能力。若所有考生在某个题目均答对或均答错，则此题目不能区分不同特质的被试，即此题目无区分能力。第三节一般来讲，题目是否有区分能力，主要是看不同能力的被试在同一题目上得分是否不同。理论上，如果题目具有高区分力，那么高能力的被试在题目上应得高分，低能力被试在题目应得低分，也即被试的能力与在题目上的得分应存高相关。心理测量学江西师大心理与教育统计测量中心心理测量学江西师大心理