命题流程与质量保障.ppt

命题流程与质量保障温州市教育教学研究院陈荣荣2012年3月用标准提升教育质量成为国际共识■21世纪以来，世界教育进入了以提高质量为中心目标的时代，制定教育质量国家标准成为许多国家教育改革与发展的主要内容。■国际教育标准主要涉及学术内容标准和教育质量标准。其中，学术内容标准明确学生应该知道什么和能够做什么，教育质量或绩效标准明确学生如何展示他们的掌握程度。■基于标准提高教育质量、形成教育质量评估的一般模式、广泛开展教育质量监测、规范教师专业标准、加强立法保障，成为各国提升教育质量的共同举措。2012年1月31号中国教育版评价过程三要素确定对象开发工具评价工具评价什么？教育质量与学业质量学业质量与学业成绩学业成绩与考试成绩几个核心概念的区别与联系教育质量的内涵教育质量与学业质量联合国儿童发展基金会在《教育质量定义》中提出了教育质量的五个要素:学习者、教育环境、教育内容、教育过程和教育成果。从宏观层面看，教育质量即整个教育体系的质量。学习者的个体层面、教育管理与行政结构的制度层面从微观层面看，教育质量最终落在培养对象的质量上。学习者人作为质量的载体以及影响其学习质量的直接因素，其教育成果是质量的核心•有质量的教育旨在将学习者培养成为兼具个体、家庭成员、社会成员和全球公民四种角色能力的人；•有质量的教育构建的是知识、生活技能、态度和价值观并提供可持续发展的能力。宏观——教育质量微观——学业质量教育质量与学业质量有质量的教育构建的是知识、生活技能、态度和价值观并提供可持续发展的能力。学业质量与学业成绩学业质量是多面体学业成绩是正视图可测性？历史学科试题——中日甲午战争甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的原因何在？战败后中日之间签订的《马关条约》内容是什么？对中国有什么危害？日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？历史学科试题——中日甲午战争学业成绩与考试成绩学业成绩=考试成绩？有效性？科学性？学业质量学业成绩考试成绩如何评价？——量尺的开发何为健康？——概念界定世界卫生组织对健康定义:“健康不仅是没有疾病,而且是指心理上和社会上的完满状态。”具体指标？——框架构建世界卫生组织WHO新的健康标准——10条如对一般感冒和传染病有一定抵抗力；如何检测？——工具开发体检工具的开发与套餐的设计结果反馈？——标准的设立各项指标的标准设定健康体检如何构建表征学业质量的维度？如何形成测试试卷结构？如何开发及保障试题反映测试指标？如何界定学业质量？学业质量——概念不清晰具体指标——框架不完善检测量尺——工具不科学结果反馈——标准不稳定学业质量评价现状与问题？如何评价——现状与问题？？？？命题需要哪些人员课程专家教研员、教师测量统计如何构建表征学业质量的维度？如何形成测试试卷结构？如何开发及保障试题反映测试指标？如何界定学业质量？PISA简介“国际学生评价项目”(ProgrammeforInternationalStudentAssessment，简称PISA项目)是由经济合作与发展组织(OECD)启动，该项目在OECD成员国和其他部分非成员国中进行PISA评价目的及内容评价目的：以15岁在校生（接近义务教育末期）为评价对象，其主要目的是了解并比较各国15岁学生为未来生活的准备情况，了解他们是否具备分析、推理和沟通能力，了解他们是否具备终身学习的能力。评价内容：主要是生活所需要的基本知识和技能:阅读素养、数学素养、科学素养以及问题解决能力，重点考查学生运用所学知识和技能解决日常生活问题的能力。此外，还收集学生的学习态度、学习策略、家庭背景以及学校因素等影响学生表现的背景信息。PISA项目是一种前瞻性评价。PISA测试形式及发展从2000年起，每隔3年进行一次每次以一个学科（数学、阅读、科学）为主，其他两门学科占1/3各参与国随机抽取4500-10000名15岁的学生.完成两个小时的纸笔测验和20-30分钟的问卷被调查学校的校长也要完成一份20分钟的问卷数学素养一个有创新精神、关心他人及有思想的公民所应具有的数学能力：即能判断和理解数学在现实世界中的作用；能运用数学做出有充分根据的决策；能在个体生活需要时使用和渗透数学科学素养利用科学知识识别科学问题并能得出有根据的结论，以便能理解自然界以及人类活动造成的变化，并有助于做出相关的决策。阅读素养理解，使用和思考书面文本的能力，以达到个人目标，增长知识、发挥潜力并参与社会如何构建表征学业质量的维度？如何形成测试试卷结构？如何开发及保障试题反映测试指标？如何界定学业质量？评价三维框架过程维度——再现、回忆（REPRODUCTION）这部分能力主要在相对熟悉的题目中起作用，主要是要求再现练习过的知识，包括熟悉、常规的数学过程和计算。如下例：•解方程7x-3=13x+15;连接能力基于再现能力，解决的不再是简单的常规问题，是原来熟悉问题的微小扩展和超越，需要更多解释，并且要求在情景的不同表征间形成联系，或者把问题情境的不同方面联系起来以获得解题方法。•如下例：等你开车开到三分之二路程时，你的油箱已由原来的满箱到只有四分之一箱，问：是否能用这些油到达终点？过程维度——连接（CONNECTION）过程维度——反思（REFLECTION）•连接能力基于再现能力之上。要求学生能够综合运用知识技能分析确定具体情境下的数学要素；创造性地辨别相关的数学概念，联系相关的数学知识解决问题，并提出论据进行论证；同时还要去学生对问题解决的过程、结果、方法进行反思。29PISA样题26——连接27——再现12——再现96——反思2006年PISA科学评价框架知识纬度科学探究起源（如好奇心、科学问题）、目的、实验、数据、测量、科学结果的特征（经验证的、试验性的、可验证的、可证伪的、自我校正的）科学解释种类（假设、理论、模型、科学规律）、形成（既有的知识和新的证据、创造力和想象力、逻辑）、法则（逻辑一致性、以证据为基础、以历史和当前的知识为基础）、结果（新知、新方法、新技术、新研究）显性知识隐性知识能力纬度样题——酸雨下图是被称作廊台的六尊女像柱雕像，建立于2500年前的雅典卫城。雕像由一种被称为大理石的岩石雕刻而成，大理石成分为钙的碳酸盐。由于酸雨腐蚀，原始雕塑在1980年被转移到博物馆内，由复制品取而代之。•问题1正常的雨水略带酸性，因为它从空气中吸收了一些二氧化碳。酸雨比正常的雨水更酸，因为它还同时吸收了如硫氧化物和氮氧化物之类的气体。空气中的硫氧化物和氮氧化物是从哪里来的？——对现象进行科学地解释样题——酸雨•问题2一片大理石薄片在被浸泡在醋里一整夜之前的质量是0.2克。隔天大理石薄片被取出并且干燥，干燥后大理石薄片的质量将会是多少？A少于0.2克B精确的0.2克C在2.0克至2.4克之间D多于2.4克————使用科学证据问题3学生把一份大理石浸没在醋酸溶液中一夜，同时把另一份大理石放在蒸馏水中一夜，解释做后一步骤的原因。————识别科学问题态度纬度样题——酸雨——科学兴趣——科学探究样题——酸雨问题6化石燃料的燃烧（煤炭、石油、天然气）导致了酸雨的量。下面给出了四个观点，选择一个和你观点最接近的答。——对资源和环境的责任A.我认为酸雨不足以构成导致我们改变使用化石燃料的问题。B.采取行动减少酸雨的量是好的，如果不影响我的生活方式的话我会支持。C.为了减少酸雨，如果每个人都这样做的话，我会减少对化石燃料的依赖性。D.为了减少酸雨，我会减少燃料化石的利用。TIMSS简介“国际数学和科学趋势研究”(TrendsinInternationalMathematicsandScienceStudy简称TIMSS项目)国际教育成就评价协会组织(InternationalAssociationfortheEvaluationofEducationalAchievement，简称IEA)评价目的：了解各国计划数学、科学课程的实现程度评价对象：主要为四年级和八年级学生评价周期：每4年一次1970(19个)1980(24个)1995(40个)1999(38个)2003年有近50个国家和地区(包括中国香港、中国台北等地区)参加了TIMSS项目。TIMSS测试形式及发展2007年TIMSS数学测试框架2007年TIMSS数学测试框架——认知领域2007年TIMSS数学测试框架——认知领域2007年TIMSS数学测试框架——认知领域2007年TIMSS科学测试框架——内容领域2007年TIMSS科学测试框架——认知领域2007年TIMSS——科学探究表述问题和假设设计探究过程记录表示数据分析和解释数据得出结论，进一步解释及拓展如何构建表征学业质量的维度？如何形成测试试卷结构？如何开发及保障试题反映测试指标？如何界定学业质量？试卷结构要素内容维度\能力维度\情境维度单选题、多选题、封闭式简答题及开放式简答题难度结构结构决定性质，性质决定功能PISA数学素养评价框架各维度的试题分布图2020/4/2952内容结构及比例（%）TIMSS数学素养评价框架各维度的试题分布图2020/4/29认知维度比例（%）TIMSS数学素养评价框架各维度的试题分布图双向细目表试卷命制的布局分布图如何构建表征学业质量的维度？如何形成测试试卷结构？如何开发及保障试题反映测试指标？如何界定学业质量？甲午战争发生于何时何地？战争的起因是什么？战争的过程、结果如何？中国战败的原因何在？战败后中日之间签订的《马关条约》内容是什么？对中国有什么危害？历史考题——中日甲午战争日本和中国一百年打一次仗。19世纪打了日清战争（我们称甲午战争），20世纪打了一场中日战争（我们叫抗日战争）。21世纪如果日本和中国开火，你认为会在什么时候？可能的原因（近因和远因）在哪里？如果日本战胜胜在什么方面？输了又是输在什么条件上？历史考题——中日甲午战争58测试目标、测试框架、试题属性，试题内在一致性案例某地区平均得分率：82.1%试题目标：理解混合运算的顺序某地区平均得分率：74.2%在错误的答案中，396约占40%3.2020/4/2961案例2020/4/2962典型作答2020/4/2963典型作答2020/4/2964访谈了两所学校（12人），总结：•多部分学生的作答跟表中数据无关，没有利用数据做合理判断的意识；•部分学生已经有了利用数据做判断的意识，但学生的理由比较模糊。•2位学生从平均角度做答。反思：•试题本身提问方式•三年级学生利用数据做合理判断？多倍试题及学生访谈小规模试测大规模试测专家审题命题流程小规模预测•题目表述是否清晰、准确•背景学生是否熟悉•学生的作答，以及是否与命题预设一致•选择题选项支的设置，是否有迷惑性；•主观题学生作答情况等，为试题修改和评分标准的初拟提供信息。试题的有效性及科学性案例•考查能力：理解概念•考查目标：理解数位的意义，并能比较大小现状：得分比率过低，且A选项比例过高分析：可能是学生在组合比较数据由于数量级悬殊不大，造成了学生比较的难度建议：将数字9改成数字8。修改如下：69案例——PISA样题小明用同样长的两根铁丝围成了如图的甲、乙两个图形，比较它们的面积，那么（）．A．乙比甲大B．甲比乙大C．一样大D．无法比较甲乙案例52.75.338.63.10.30102030405060708090100ABCDX选项所占人数百分比(%)A、B、C水平学生的平均得分率分别为：78.8%，46.9%，28.2%。这是一幅南极洲地图,请利用图中的比例尺估计它的面积,并解释你是如何得到的.案例——评分标准的设计案例——评分标准的设计2020/4/2974反映试卷总体难度及试题难易程度的分布学生的作答时间反映试题的质量（区分