教学系统化设计第七章

第七章开发评估工具二0一三年十一月陇东学院信息工程学院迪克与凯瑞模型评价需求确定目的进行教学分析分析学习者和环境书写行为表现目标修改教学开发评估工具开发教学策略设计并实施教学的形成性评价设计并实施总结性评价开发和筛选教学材料本章学习目标描述实施标准参照测验的目的。描述教学设计者如何运用起点行为测验、前测、练习性测验和后侧。指出开发标准参照测验的四类标准，并列出每类标准中的几个注意事项。给出各种具体目标，编写出符合所有四类标准的标准参照型的、客观类的测验项目。本章学习目标为产品开发、实际行为表现和态度评估开发教学，并开发用于评价学习者作业的准则。评价宏观教学目标、下位技能、学习者和情境分析、行为表现目标以及标准参照测验项目等方面的一致性。第七章开发评估工具第一节背景第二节标准参照测验类型第三节怎样设计测验总结及建议第一节背景1.为什么在此处进行评估工具的开发测验项目必须和行为表现目标一一对应测验项目的性质，对教学策略的开发具有重要的影响。第一节背景2.什么是评估？本章介绍的是标准参照评估，或目标参照评估用目标中所描述的任务行为，设计评估题目作为标尺来判断一个学习者的表现是否达到教学目标的要求。第二节标准参照测验类型测试类型设计者的决策所测量的典型目标起点行为测验*目标学习者准备好开始新的教学了吗？*学习者掌握了必需的先决技能了吗？*在教学分析中处于虚线以下的技能前测*学习者先前已经掌握了使能技能了吗？*他们已经掌握了哪些特定的技能？*我如何最有效的开发教学？*终点目标*目标分析中的主要步骤练习性测验*学生获得了必需掌握的知识和技能了吗？*他们犯了哪些错误？*教学归类适当吗？*教学进度适合学生吗?*达成具体教学目标的子目标所需的知识和技能*一节课水平而不是单元水平的范围后测*学习者达到终点目标了吗？*每个主要步骤以及每项下位技能的教学是否有效？*教学的哪些地方需要修改？*学生是否掌握了必须掌握的信息、技能和态度*终点目标*主要步骤及下位技能第三节怎样设计测验（根据目标领域决定测试类型）言语信息：客观题（简答题、单选题，匹配题，多选题）智力技能：客观题，制作作品，现场表演。复杂智力技能评分标准的制定：提供做题指示，同时建立一套标准来判断学习者完成的质量——等级量表。态度技能：要求学生自述偏好老师观察学习者的行为并推断学习者的态度心因动作技能用核查表或等级量表来显示学习者是否恰当的执行了每一个步骤第三节怎样设计测验（1根据目标领域决定测试类型）第三节怎样设计测验（2.确定掌握水平）为了学生“掌握”这个单元，他们必须要达到某个行为水平？（1）有人认为，掌握度应该小于等于对最好的学生所期望的行为水准，也有人认为应该使用统计的方法，提供足够的机会让学生运用这个技能，从而使得技能的正确实施越过偶然率。（2）理想情况：存在着精确且明显的行为水平，据此定义掌握程度。（3）最佳定义：成功完成工作需要的水平。借助环境分析的结果，看学习者在工作场合成功完成任务应该达到什么水平？**：作为一个一般原则，任何行为的掌握水平的确定都不仅要评价在此刻该行为的质量，还要考虑到对本单元及课程剩余部分相关技能学习的影响。编写测验项目时，应该从以下四个方面考虑试题质量•1.以目标为中心的标准•2.以学习者为中心的标准•3.以情境为中心的标准•4.以平价为中心的标准第三节怎样设计测验（3.编写测验项目）1、以目标为中心的标准•测验项目和任务应该与终点目标以及行为表现目标一致。•测验项目必须准确的测量目标中所描述的行为，测验项目形式是由目标中的用词决定的。•测验项目必须包含目标中指明包含的行为的条件。•测验项目的数量由目标需要的掌握水平来决定。第三节怎样设计测验（3.编写测验项目）2、以学习者为中心的标准•测验项目和评价任务必须符合学习者的特征和需要。•测验项目一般要求在学习者熟悉的环境下、用学习者熟悉的评价方式进行，任务不能太复杂。特殊情况除外。•测验项目中不能出现对特定群体的偏见。•设计者要帮助学习者进行自我评估、自我改进。第三节怎样设计测验（3.编写测验项目）3、以情境为中心的标准•测验项目和任务要尽量的符合实际，或与真实的行为情境贴近。•测验项目中应该包含学习环境中需要的资源和设备。第三节怎样设计测验（3.编写测验项目）4、以评价为中心的标准•测验项目中的语法、拼写和标点都应该准确无误。•测验项目中的指导语指示明确，陈述无二意。•整个试题应该由易到难。第三节怎样设计测验（3.编写测验项目）1、用多少个测验项目才能确定目标掌握与否？•如果项目或测验所需要的答题形式会让学习者猜对答案，那么多设置几道平行的测试题。•如果猜对答案的可能性很小，那么确定一到测试题即可。第三节怎样设计测验（4.设定掌握标准）2、如何根据目标的学习领域确定考察项目的数量？•言语信息：=1。•智力技能：3。•心因动作技能：让学习者在不同的条件下展示该技能。第三节怎样设计测验（4.设定掌握标准）第三节怎样设计测验(5.项目类型)目标中描述的行为类型填空简答匹配多项选择短文产品开发现场操作陈述/说出XX定义XXXX识别XXXX辨别XXX选择XXX定位XXX评价/判断XXX问题解决XXXXXX讨论XX开发XXX建构XXX生成XXX操作/执行X选择（态度）X1、将测验同一个目标的所有项目归并到一起。2、将相同的项目形式归并到一起。第三节怎样设计测验（6.测验项目的排序）1、测验的标题暗示测验所覆盖的内容，而不是仅仅指出这是预备测验或“测验I”。2、用简短的陈述说明要展示的目标或行为表现，并交代正确答案的分值。3、告知学习者当他们对答案不确定时，是否应该去猜答案。4、指导语详细说明要得满分，单词是否应该正确拼写。5、告知学习者应该用自己的名字，还是只需标出组号。6、时间限制、字数限制或篇幅限制需交代清楚。第三节怎样设计测验（7.编写指导语）1、测验的标题暗示测验所覆盖的内容，而不是仅仅指出这是预备测验或“测验I”。2、用简短的陈述说明要展示的目标或行为表现，并交代正确答案的分值。3、告知学习者当他们对答案不确定时，是否应该去猜答案。4、指导语详细说明要得满分，单词是否应该正确拼写。5、告知学习者应该用自己的名字，还是只需标出组号。6、时间限制、字数限制或篇幅限制需交代清楚。第三节怎样设计测验（7.编写指导语）第三节怎样设计测验（8.评价测验及测验项目）如何审查？请一个学习者（非实际目标组的人）大声解释题意并答题，设计者初步审核试卷。审查试题哪些格式？试卷指示：要清楚、简单；每道题文：清楚，并且含有对学习者刺激的信息。答题条件：现实可行答题方式：学习者清楚答题方式适当空白：学习者所需的答题空间、时间，设备考后分析：评估题目的清晰度，是题目问题还是教学问题？9.开发测量行为表现、产品和态度的工具编写引导学习者行为的指导语制定用于指导评价的标准编写引导学习者行为的指导语描述要做什么和怎么做描述清楚资源和时间的限制确定恰当的引导语让学习者明确得分标准态度目标需要让学习者知道有自由选择的权利制定用于指导评价的标准(1)要素的识别、解释和排序要素即从行为表现目标中提取出来的知识点要确保要素是可观察、可测量的在评价工具中，需要对每个要素进行解释要素的排序按照目标分析中的顺序制定用于指导评价的标准(2)反应形式评价者做出评判并记录评判所用的工具主要有三种形式：核查表、等级量表、频率表选用哪种形式取决于：a.被观察的要素的性质和复杂程度b.观察、做出评判并记录评判可用的时间c.评价者评判的精确性或一致性d.提供给考生的反馈的质量核查表(口头演说评分实例)要素是否要素是否1.没有目光接触4.有恰当的肢体语言2.用“啊”、“嗯”停顿5.声调抑扬顿挫3.没有思想观点6.在限制的时间内完成演说核查表的优缺点能够在给定的时间内观察很多不同的要素评价速度快较高的一致性和信度容易计算得分评判过于绝对等级量表(对作文中段落主题的评分实例)1.主题句的表述没有太宽泛/具体恰当的具体化恰当的具体化并且有趣0123等级量表的优缺点能够对行为表现水平进行分析性评价能够为学习者提供关于行为表现质量的反馈信息需要评价者花费更多的时间可靠性低开发等级量表的注意事项为每个质量水平提供一个清楚的动词描述限制每个量表中包含的质量水平的数量确保每个数字或水平和用来做出评判的具体标准相对应频数表当要评价的要素在行为表现过程中多次出现时即可用频数表在每个要素的旁边记下所发生的行为样例的次数难点在于确定要观察的要素及如何排序计分程序核查表的计分程序等级量表的计分程序频数表的计分程序10.档案袋评估档案袋是能够说明学习者学习状况的标准参照评估的集合档案袋评估的是为可观察的变化或发展而收集的作品样本10.档案袋评估档案袋评估的特点：•作品样本必须和具体的教学目标以及行为表现目标相吻合•作品样本应该是在教学过程中收集到的标准参照性评估材料•每个常规评估都有评价准则，对学生的反应给予评价和计分，以表示行为表现的优点和问题•档案袋评价通常在两个水平上完成，即自评和教学者评价案例研究团体领导力培训思维导图案例总结及建议考虑题目类型（与学习领域有关）——决定掌握水平——编写考试题——设置掌握标准——编写做题指示——评价考试卷和考试题开发测定行为、产品和态度的量表(1)确定、表述和顺序化量表要素(2)设计评判格式，即如何记录评价。(3)决定量表如何计分