浅谈试题编制技术与试卷质量分析ppt-浅谈命题技术与质量

浅谈试题编制技术与试卷质量分析广州市教育局教学研究室教学管理科钟阳特级教师Tel：13380093235（020）83330741E-mail：[e-mail]一、教育测量学简介教育测量学以现代教育学、心理学、统计学为基础教育测量只能通过检测心理现象的外显行为或外在表现特征来推知个体的心理能力和个性特质教育测量学研究的主要内容是：测验的编制、使用、结果的评价教育测量的基本概念测量：事物及属性、法则、数字或符号测验：行为样本、标准化、评价指标（题目质量分析指标—难度和区分度，测验结果可靠性指标—信度，测验结果有效性指标—效度）测量要素：参照点（常模参照，标准参照）、单位（往往不等距或等距不等值）量表：命名（类别）量表、顺序（等级）量表、等距量表、比率量表教育测量的量表与变量类型类别量表—称名变量：如学生编号等。只有区分性，没有序列性、等距性和可加性。不能做数量化分析，只能做次数统计，如次数、众数、百分比、离散相关、χ2检验等。顺序量表—等级变量：如学生名次、等级、百分制成绩等。有区分性和序列性，但没有等距性和可加性。无绝对零点，也无相等单位，不能做加减乘除运算，适用的统计方法有中位数、百分位数、等级相关系数、肯德尔和谐系数、序次的方差分析。等距量表—等距变量：如摄氏温度、标准分数等。既有区分性和序列性，也有等距性和可加性，有相对零点和相等单位，能做加减，但不能做乘除，不能用倍数解释。能最广泛地应用统计方法，如计算均数、标准差、积差相关系数、t检验、F检验等。比率量表—比率变量：如长度、重量、体积等。具有相等的单位和绝对零点，既可以比较差距，也可以计算比例。除上述统计方法外，还适用几何平均数、变异系数等统计运算。教育和心理测验特点教育和心理测验也是一种量表没有绝对零点，没有相等单位，属于等级量表。由于等距变量适用大量统计分析方法，所以教育学家与心理学家总试图将教育和心理测验的结果放在等距量表背景下解释解决等级量表和等距量表之间差异的最常用办法——原始分数转化成标准分数教育测验的分类测验目标：成就测验（知识与技能的掌握）、能力测验（稳定的认知能力特质）、能力倾向测验（潜在的学习能力和学术发展倾向）题目类型：客观性测验（选择题、判断题、配对题、限制性的填空或简答题）、主观性测验（作文题、论述题、证明题）测验分数的解释：常模参照测验（个体差异、相对水平、选拔性、不可单独解释）、标准参照测验（标准或效标达成度、知识和技能的掌握程度、水平性、可直接解释）测验标准化：标准化测验（设计、编制、实施、评分、分数解释）、自编测验（尽力遵循测验编制的一般程序）教育测验理论——经典测量理论（ClassicalTestTheory，CTT）以真分数模型为理论基石，以弱假设为基础真分数是实测分数的期望值较为完善，易懂好用，计算简单，应用广泛各种测验参数必须从考生样本中求得参数会受不同考生样本组能力水平的影响考生能力的估计会由于测验的改变而改变难以实施与学生实际能力水平相当的考试，不能确保学生在考试中发挥最高水平教育测验理论——项目反应理论（ItemResponseTheory，IRT）以潜在特质理论为基石，以强假设为基础试题难易度估计不受样本影响，考生能力估计不因测验改变，测量误差不受考生程度影响可以精确估计每个考生的能力水平，为自适应测验的实施提供条件对数学模型与实测数据的拟合要求高受考生样本容量和试题数量的制约一维性假设难以满足，也难以验证计算过程复杂，工作量过大，不能分析主观试题二、教育测验的编制测验编制的基本程序测验目标确定：教育目标分类（识记、理解、运用、分析、综合、评价）、学科特征、教学阶段内容的确定：命题双向细目表、材料收集测验的设计：测验形式（纸笔、操作）、时限、题量、题型、题目编排（先按题型，再按难度）测验的技术分析与鉴定：复本与试测、测试质量分析（定性与定量分析、信度、效度、难度、区分度）、测试的标准化（命题、实施、评分标准、分数解释、时限、环境、指导语）命题双向细目表示例1命题双向细目表示例2考试内容（模块）能力目标识记理解探究获取信息综合应用合计分子与细胞遗传与进化稳态与环境实验与研究性学习合计考试内容（内容块）选择题简答题证明题应用题分析题合计识记理解...识记....分析综合..应用..应用分析综合创造内容12305050015内容20334030215内容308213900335内容404215900535合计218737188010100命题双向细目表示例3举例—生物高考模拟试卷分析表题号知识能力分值预计全样本难度实测难度干扰选项或预计障碍测试反映出的问题3细胞结构理解、图表20.670.4837影响光合作用的因素探究、实验设计100.380.21测验材料收集的原则适合测验目的：水平性测验（代表性、广泛性、全面性）、选拔性测验（多考虑难度而非广度）符合双向细目表：学科教学内容的良好代表性样本，突出主干知识与核心概念，保证测验有较高的内容效度材料的普遍性：是不同班级、学校、地域的学生共同学过的内容适合学生程度：既要难易适当，又要有鉴别力。有些要让水平最低者也能做到，以树立其自信；有些要让水平最高者也不易得分，以激发其进取心测验题目的编制试题编制的一般原则1.命题的目的性2.内容的代表性3.格式的规范性4.表述的简明性5.答案的确定性6.题目的独立性7.创意的公平性8.试测的实效性题型客观题（封闭式）主观题（开放式）选择型提供型计算题证明题论述题写作题设计题翻译题是非题配对题选择题填空题改错题名词解释题简答题测试题型的分类客观题（封闭式）主观题（开放式）信度较高较低效度较低较高覆盖面较宽较窄陈述性知识较适宜较不适宜程序性知识较不适宜较适宜猜测可能性测验时较大测验前较大常模的建立较易较难客观性试题与主观性试题比较题型特征适用范围编制要领由一个“题干”和若干“选项”所构成。题干可用不完全陈述或疑问句表示，用于实现一个问题情境；选项，由一个正确或最佳答案和几个似真的错误诱答项或非最佳答案项组成。适合用文字、数字和图形等不同材料编题，可考查记忆、理解、应用、推理、判断、比较、分析等多种能力。该类题有多种变式，如配伍式、比较式、因果式、组合式、类推式等，其测量功能各有侧重。题干设问明确，表述简要，且尽量创设新情境；各选项的内容和形式要相互对等，数目尽量一致，且用词勿重复；正确项随机定位，且似真非真；干扰项似假非假，保证适度干扰性；每题仅有一个测试中心，且各题相互独立，避免链式。选择题的编制编制选择题的注意要点1．每题仅围绕一个测试中心2．题意完整，表述简明3．避免提供解题线索4．题干应尽量创设新的情境5．题干尽量以正面方式叙述6．各选项语词切勿重复7．选项只间不应相叠8．干扰项诱答须似是而非9．各题彼此独立，避免链式10.忌用“以上皆对”、“以上皆错”选项11.选项数尽量一致，形式大体相同12.正确项目须随机排位题型特征适用范围编制要领提供一个完整的陈述，要求被试把缺少的字、词填上，全题可留1－2处空格，且多置于句中和句尾。适宜测量词组知识、名称或日期、对概念的简单理解及记忆，解决数量问题的能力等。属于“回忆性”测量，是一种开放性试题留空处须是关键字词，且与上下文联系密切；空格不宜太多；避免直接引用教科书原句；准备一个正确答案和可接受的变式的标准。填空题的编制题型特征适用范围编制要领由一个问句或陈述句构成，要求学生作答时提供适当的字词、短语、符号、观点及结论等。适宜测量记忆及简单理解。可考查术语知识、特定事实知识、原则的知识、方法和程序的知识；还可考查简单解释资料或使用数字符号的技能。答案唯一，且简单具体，尽量采用疑问句出题；应测学科知识的重要概念；不可按书原文抄题；说明答题要求，无需论述、论证；需以数字作答的，应说明表示单位。简答题的编制题型特征适用范围编制要领是一种要求被试根据题目自己立意、选材、组织与表达。它属于自由反应型试题，包括论述题和作文题。适合测量综合运用知识的能力、组织材料能力和文字表达能力，甚至考核评价能力和创造能力。可以了解学生对问题的理解深度和思考过程。明确规定作答范围和方法，避免题意空泛、笼统；设置新情境，让学生应用知识解决新问题；题目数量需适度；不给被试提供选答试题机会；备用数个“理想”答案，评分标准具体，易操作。论述题的编制题型特征适用范围编制要领叙述一个具体的情境并给出一些有关的数据或资料，让被试解决所提出的问题。适合测量计算技能、数学和科学推理，以及运用知识到新情境中的能力。该类题常用于数学和自然科学领域的测验。解题说明清楚、完整；题目中应含解题所需的一切条件；题目内容应采用新情境材料；各测题答案间互相独立；文字简明。应用题的编制三、教育测验的质量分析测验误差：随机误差、系统误差测验信度测验效度试题难度试题区分度其他分析指标综合试题分析标准参照测验的试题分析测验信度测验结果的稳定性程度重测信度、复本信度、分半信度、评分者信度同质性信度（内部一致性信度、克伦巴赫α系数）高考要求：选择题部分信度≥0.9，非选择题部分信度≥0.7，全卷信度≥0.8（题量较多、难度中等；保密、新颖、变式）测验效度测验的准确性（测出所预测特质的程度）内容效度（内容范围的共性：具有边界、结构化；一个测验涵盖的只可能是从所欲考查内容中抽取的一个代表性样本；课标、考纲；双向细目表、知识范围、能力要求）结构效度（构想效度）（理论构想的基本属性：对本质的抽象概括、可测量化或外显化；对测验结果的合理解释首先要求获得该测验的结构效度资料）效标关联效度（实证效度）（对被试未来成功的预测准确程度等）内容效度与结构效度内容效度就是测验能代表它所欲考查内容的程度。知识覆盖率法是其最简单常见的统计方法。内容效度涉及到知识的计量问题，对同一学科而言，我们可将课程标准所开列的每一个知识点作为知识基本单位，也可用教材的章来构造基本知识单位，甚至是按照知识的内在联系来确定基本知识单元。内容效度反映的是测验外在的、形式上的东西，与所欲测量的特质（如，人文精神、科学素养、探究能力、创造能力、方法论等），没有必然的联系。事实上，它只是测量特质的必要条件。内容效度与结构效度内容效度从知识间的内在联系出发，是以知识为本位分析效度的方法。对于学生而言，掌握必要的知识也是很重要的，因此，注意测验的内容效度有它合理性的一面。然而，学习者学习知识更为重要的目的是通过学习和掌握这些知识的过程，获得并发展隐含在这些知识中的特质，如果片面强调内容效度就可能导致被试在学习过程中重视知识本身而不重视能力发展。内容效度与结构效度结构效度从隐含在建构这些知识联系背后的特质出发，反映的是其特质的当前发展水平。由于知识本身可能成为一种特质的表征，而且某些特质与特定的知识领域密不可分，因此，强调结构效度并不反对使用特定的知识作为试题的载体。但这种主张与强调内容效度的主张有着根本的差别。因此，应该在确保结构效度的基础上兼顾内容效度的需要。对于教育测量（特别是考试）而言，为了鼓励学习者既掌握好知识的本身，又获得和发展隐含于所学知识中的特质，编制测验应该在保证结构效度的基础上尽量选用被试所学过的知识为测验题目的载体。试题难度通过率（P=R/N）或得分率（P=X/W）高考要求：全卷难度0.5~0.6试题难度0.3~0.7易：中：难＝3：5：2试题区分度鉴别指数：D=PH-PL（D≥0.40，优；0.39≥D≥0.30，良好；；0.29≥D≥0.20，尚可；D0.20，劣，应该淘汰）高考要求：D≥0.3高端区分与低端区分其他分析指标平均分：分数的集中水平标准差：分数的离散程度（高考要求全卷满分为150分时，S15）选择题反应模式：①若所有考生都选择了正确答案，说明题目太简单或给出了明显的暗示②若某个错误选项没有一个考生选择，说明该选项没有迷惑性③若所有考生都选择了同一个错误选项，可能是答案定错