ACTS学业(素质)评价技术介绍

新课改背景下的新型学业评价技术——ACTS学业（素质）评价技术介绍Logohere公众教育研究院公众考试研究院姚春艳ACTS的含义AbilityandCompetenceTestSystem学业素质能力考试（评价）系统2020/2/2评价的重要性确定教育目标选择学习经验组织学习经验评价学习结果2020/2/2课程编制过程模型新课改下评价要求的变化改革前的评价改革后的评价评价的目标“双基”目标“三维”目标评价的功能甄别、选拔甄别、诊断，重在诊断评价的反拨作用负向：应试、排名、机械练习正向：学生、教师发展；素质教育2020/2/2我国学业评价现状数学85语文90英语882020/2/285是年级最高分80%以上的学生语文成绩都高于90中等水平常模参照分数学生在不同科目上的表现水平（含知识和技能），科目包括阅读、词汇、数学、科学等。美国国家教育进步项目（NAEP）成绩单2020/2/2斯坦福成就测验测试题目数量原始分数转化分数全国小学当地小学年级当量AAC范畴11030507090阅读小计得分94中等词汇40上等阅读54中等数学小计得分118中等概念34中等算术44下等应用40中等语言小计得分60中等技巧30中等表达30上等拼写40中等学习能力30下等自然科学50上等社会科学50中等听力45上等信息运用70中等思考能力101中等基本得分387中等总计得分487中等OTIS-LENNON学校能力测试全国年级小学全国年级NCE11030507090总分7249-549.5口语3636-442.5非语言3659-554.8高于平均水平阅读词汇32/40语言技巧20/30同义词21/24√大小写6/7上下文4/8标点符号5/11多意词7/8√语法应用9/12阅读理解31/54语言表达25/30娱乐性14/18句法正确16/20与原文的符合性7/18句法效果9/10功能性10/18拼写22/40文学性10/21学习能力16/30推理性18/26图书馆/参考工具9/17批判性3/7信息工具7/13数字概念20/30自然科学36/50整数8/16物理科学11/16分数1/4生物科学13/20小数3/3√地球/宇宙科学12/14操作和属性8/11社会科学34/50算术21/44地理10/13整数加减法8/12历史6/8整数乘法6/12政治学5/10整数除法4/10经济学7/10小数加减法3/6心理学/社会学/人类学6/9分数加减法0/4听力36/45数学应用29/40词汇11/15解题16/22听力理解25/30做表4/6信息运用能力43/70测量9/12思考能力67/101内容分类内容分类原始分数/题目数量原始分数/题目数量低于平均水平平均水平65575-671-66.36362852-551-54.93247061542-558-54.53161137-433-44.62159425-439-43.82061844-560-65.44563857-563-65.42963559-570-64.12566274-678-78.52061636-434-44.21660630-438-43.32261537-435-47.33462763-661-65.63664279-784-78.34361941-546-54.33666090-885-75.425262349-554-54.76762761-665-65.232262754-556-5转化分数3510562-656.4598原始分数SAI年龄小学年龄NCE10869-660.46081510255-552.6√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√√低于平均水平平均水平高于平均水平全国年级百分位区间学生技能分析年级：041988年常模：Stanford4年级OLSAT4年级测试日期：03/89年龄：9岁8个月阅读组语言组数学组理解学习能力算术教师：CESTERO学校：NEWTOWNELEM区域：NEWTOWN58820HGFDABCE2020/2/2和我们的成绩报告方式有什么不同？差异1：知识、技能分类，逐条呈现！差异2：多种分数揭示学生和考试标准相比、和考试群体相比的情况！差异3：报告的内容与形式与报告的目的高度一致！NAEP报告的目的2020/2/21、为教师制定针对该学生的指导计划提供参考信息；2、家长会上作为与家长沟通的参考；3、学生成长记录的一部分；新课改需要新的学业评价评价定位要科学评价内容要科学评价工具要科学结果呈现要科学评价定位科学化2020/2/2评价定位科学化甄别诊断激励——国家素质教育政策对评价的新要求2020/2/2诊断什么？2020/2/2学业评价中的诊断项目问题1诊断项目应该包括哪些？问题2为什么是这些项目而不是另外一些？问题3这些项目是怎么得出的？2020/2/2理论基础实践依据学业评价诊断项目的理论基础2020/2/2学业评价诊断项目的实践依据2020/2/2教导启教师学习思学生知识（过程）（情感）技能（方法）（价值）智能（策略）（态度）ACTS学业评价诊断项目举例2020/2/2维度/内容个人得分率年级平均水平差值学生得分满分个人得分率年级平均水平差值学生得分满分维度/内容个人得分率年级平均水平差值学生得分满分字词(听）100.0100.00.06.06.097.397.6-0.332.333.2词汇辨析84.986.1-1.222.025.9字词（积累）92.390.51.836.039.088.975.613.38.09.0语言理解98.689.39.342.342.9句（抄写）100.0100.00.02.02.075.376.5-1.26.48.5人际理解100.094.25.831.231.2句（应用）100.096.04.010.010.0100.0100.00.02.02.0古诗（积累）100.0100.00.06.06.0100.096.53.517.317.3文章（课内）87.585.81.710.512.0100.093.76.330.030.0写作100.093.66.425.025.0小计95.592.62.995.5100.096.092.53.596.0100.0小计95.590.05.595.5100.0表达小计维度/内容认知理解信息提取抄写应用分项得分知识应用技能应用能力倾向分数构成050100认知理解信息提取抄写应用表达个人得分率年级平均水平050100字词(听）字词（积累）句（抄写）句（应用）古诗（积累）文章（课内）写作个人得分率年级平均水平050100词汇辨析语言理解人际理解个人得分率年级平均水平课程标准布鲁姆多元智能导入问题学生在回答不同问题时的思维过程是一样的吗？2020/2/2ACTS学业评价如何实现诊断功能例题-数学例题1：写出横线上的数。黄河长五千四百六十四千米，写作（）知识点：大数的认识技能：数学表达能力：少量的语言理解例题2：口算：32×2=知识点：简单的乘除法运算技能：计算能力：少量的数字推理2020/2/2例题-数学例题3知识点：观察物体技能：操作能力：空间想象2020/2/2看一看，这些形状是从正面、上面还是右面看到的。（）面（）面（）面（）面（）面（）面例题-语文例题1：抄写句子，要注意在横线上抄写汉字和标点（3年级语文二题）知识点：句子技能点：抄写（操作）能力点：无例题2：请选择合适的词语填进括号里。（3年级语文五-1）经历简历来历①听了妈妈的讲述,我终于知道自己名字的（）。②结绳记事能帮助人们大概记起以前（）的许多事儿。知识点：词技能点：理解能力点：词汇辨析2020/2/2结论学生在回答不同的问题时，思维过程不同，动用的能力也不同。2020/2/2ACTS学业评价如何实现诊断功能评价内容科学化2020/2/2评价内容科学化内容多元化技能阶梯化能力学科化2020/2/2知识技能能力过程方法策略情感价值态度认知理解应用分析评价创造传统的“双基”评价举例2020/2/2名称字词(听）字词（积累）句（抄写）句（应用）古诗（积累）文章（课内）写作总计题目数量181214118分值63921061225100名称填空选择简答写作题目数量863118题型知识点3年级期末检测语文试卷构成ACTS的“三维”评价举例2020/2/2知识字词句文章写作试题数量合计651411技能认知理解信息提取综合概括推理应用分析表达试题数量合计254533212能力词汇辨析语言理解人际理解逻辑分析自我认识试题数量合计420471评价内容为什么要多元化评价导向功能的要求评价诊断功能的要求素质教育改革的要求2020/2/2评价工具科学化2020/2/2评价工具科学化试卷编制流程科学化试题、试卷结构科学化赋分科学化2020/2/2试卷编制流程科学化国外考试命题的过程有一套严格的标准化程序,他们的命题、组题、出题过程包括以下10个基本方面:(1)澄清测验使用的目的与测量结构;(2)辨别用以表征所测量结构的范围;(3)准备试卷细目表(testspecification)(4)发展题目编制细目表(itemspecification)(5)考虑试题的格式;2020/2/2试卷编制流程科学化(6)题目编制细目表之后再请相关的人员去编题;(7)题目审查;(8)题目的预试:在编题之后不是立即对学生进行测试,而是在进行大范围测试之前,先进行预试,以确定试题的属性;(9)试题分析;(10)确定试卷,编写试卷使用手册。2020/2/2ACTS的试卷编制流程编制出题指南编制试卷、试题计划表试题、试卷编制试卷审核修改、定稿测试考后分析2020/2/22020/2/2考试时长120分题量26题试卷总分120分年级初二、初三选择填空简答论述写作小计10393126字词1113句123文章826319写作11026信息提取1113理解426推理1124综合概括123分析21126赏析1113表达1126词汇辨析1113语言理解725115人际理解123逻辑分析1113自我认识31428易30%0.3中50%0.5难20%0.2能力能力题量总计难度分配美国公立校选拔考试-出题计划表【初中语文】题型题量知识知识题量总计技能技能题量总计试题、试卷结构的科学化2020/2/22020/2/2字词句课内文章课外文章写作试题合计能力占比分值302261230题量7336827认知理解信息提取综合概括推理应用表达分值507.8224230题量1131121827词汇辨析语言理解逻辑分析人际理解自我认识题量282111451.9%知识技能能力某市某区2012秋季学年期末检测题——5年级语文5年级数学2020/2/25年级数学2020/2/25年级数学2020/2/2试题、试卷赋分的科学化考察知识点考察技能项有理数8道题应用技能7道图形初步认识2道操作技能1道实践与综合2道推理技能2道问题解决1道以某市7年级数学期末测试试题为例选择题共12道，分布如下：某位学生仅答对7道考察应用技能（基础技能）题目，得分为14分；另一位学生答对了4道考察应用技能题目，又答对了考察推理和问题解决（高级技能）的3道题目，得分也为14分；问题：两个学生的能力相同吗？存在的问题相同吗?老师用相同的方法指导两位同学，能取得相同的教学效果吗？试题、试卷赋分的科学化现行的试题赋分方式存在的问题ACTS试题赋分方式单题客观题：题型相同，赋分相同；主观题：根据题目难度，赋予不同权重客观题：忽视了同一题型内部试题需要的技能和能力的差异，导致高能力和低能力的学生答对题目数量相同，得分即相同，使误差增大。主观题：虽然分步得分，但不同步骤对总成绩的贡献意义不明。依据试题所需的知识、技能、能力分别赋分，越高级的技能和能力，权重越大。总成绩各个单题得分的简单加总。不同质的分数简单相加，信度降低。知识、技能、能力按不同的权重非线性加总。评价结果呈现科学