第九讲 建立评价指标体系

第九讲建立评价指标体系河南师范大学教育技术学系迪克&凯里教学设计模型评价需求确定目的进行教学分析分析学习者和环境编写绩效目标修改教学开发评测量表开发教学策略设计并实施教学的形成性评价设计并实施总结性评价开发和选择教学材料内容提要一、编写绩效目标体系二、开发评价工具一、编写绩效目标体系（一）概念1.绩效目标2.行为表述3.条件表述4.标准表述5.目标编写过程6.目标评价7.目标用途（二）示例1.言语信息和智慧技能2.心智运动技能3.态度1.绩效目标绩效目标是学习者完成了一个教学单元后能够做什么的详细描述。三个同义词行为目标（behavioralobjective）绩效目标（performanceobjective）教学目标（instructionalobjective）教学目的描述了学习者在完成了一段教学材料之后能够做什么，还描述了在学习环境之外学习者实际运用技能和知识的环境。当教学目的转换为在学习环境中应能做到什么的描述时，该目的就称为学期目标（terminalobjective）。学期目标精确地描述了学习者完成一个教学单元后将能够做什么，完成学期目标的环境产生于学习环境之中，而不在现实世界里。从目标的步骤分析推出的技能叫做从属技能描述这些技能的目标称为从属目标，这些技能为达到学期目标铺平了道路。绩效目标的成分加涅（1989）四成分说：1）引发行为的刺激环境（如，条件）；2）一个表示行为的动词（如，写）；3）一个表示动作作用对象的名词（如，研究报告）；4）一个说明动作完成好坏的词组（如，评判标准）。加涅（1992）五成分说：1）环境（实施的环境）；2）工具和约束（操作手段和实施限制）；3）动作；4）对象；5）能力（目标和目的之间的链）。环境、工具和约束用于定义条件元素。2.行为表述教师必须要审核每个目标，并自问：“我能够观察到学习者在做这个吗？”3.条件表述条件是对实现目标时学习者可用的资源和环境的精确说明。为了选择合适的条件，你既要考虑要显示的行为，也要考虑目标人群的特点，你还要区分各条件成分所能提供的功能:（1）学习者用来在记忆中搜索信息的线索或刺激物；（2）完成任务所需要的资源材料的特点；（3）任务的范围和复杂度，以及与现实世界应用环境的相关性和可信度；（4）辅助知识和技能从教学环境迁移到应用环境（1）学习者用来在记忆中搜索信息的线索或刺激物；（2）完成任务所需要的资源材料的特点包括如下几类：（1）图示，如表格、图表、插图等；（2）书面材料，如报告、故事或报纸文章等；（3）实物，如石头、树叶、胶片、机器或工具等；（4）参考资料，如字典、手册、数据库、课本或网页等。条件部分除了要列举所需要的资源外，还要说明每种资源所具有的特点。（3）任务的范围和复杂度，以及与现实世界应用环境的相关性和可信度使绩效目标能够适应目标人群的能力和经验。1.给定一张本地地图，图上有不超过六个指定地方，……2.给定一张本地地图，图上有不超过12个指定地方，每个地点相隔都在1英寸，地图有定位网格、索引和比例尺，其中比例尺1英寸相当于1英里，……3.给定某城市的正规地图,……这些条件使得同一任务具有不同的复杂度，因而更适合不同的人群。（4）辅助知识和技能从教学环境迁移到应用环境条件元素用来说明教学环境的资源所能给予的有关真实世界的最大的真实性、相关性和所能提供的环境。4.标准表述标准是判断该技能完成情况能否被接受的尺度。为了产生合理的评判，必须要考虑所完成任务的特性。有些智慧技能和言语信息任务只有一个正确的答案。一些智慧技能和言语信息任务的答案并不唯一，学习者的回答也是多样的。这样的例子包括将一条线等分，用量尺估计距离等。在这类例子中，标准就是关于可接受答案的范围。判断心智运动技能表现是否可接受的标准也需要用到核查表，在其中列出所期望的行为，往往还需要纪录速度或限制时间。态度目的的评判标准也很复杂，合理的评判取决于所观察到的行为特点、被观察时的环境、目标人群的年龄这样一些因素。它还可能包含在某个环境下所期望行为被观察到的次数。有时候也包含不期望的行为被观察到的次数。5.绩效目标编写过程修改教学目的以反映最终应用环境编写学期目标反映学习环境为目的分析中确定的每个步骤（无子步骤的）编写目标为每个子步骤写目标（目标与评测设计和教学内容一一对应）为所有从属技能编写目标对某些学习者可能不具备的入门技能编写目标6.目标评价评价你所写的目标是否清楚可行的一个好办法就是出一道考试题，测定学习者对任务的完成情况。如果你写不出逻辑合理的考题，那么这个目标就要重新考虑。评价目标清晰度的另一个方法是请同事出一道考题，要符合所要求的行为和条件。如果所出的题目与你心里想的不吻合，那么就说明目标还不够清晰，不能传达你的意图。7.目标用途对于设计师来说：目标是设计过程的有机组成，它们是将教学分析中的技能转换为在教学完成后学习者要能做什么完整描述的手段，目标还是设计师和考试设计专家准备考试题和教学策略时的输入文档，重要的是设计师要尽可能详细地了解这些活动。在教学准备好了开始使用之后，目标可用于师生之间的沟通，说明要从材料中学什么。教学设计师在教学设计中使用的目标与出现在教材中的目标相同吗？区别在哪里？不同首先，在开发材料时所使用的从属技能目标很少在教材中使用，通常只有最主要的目标才会出现在出版物、网页或教学模块中。其次，出现在材料中的教学目标的表述已做了修改，通常省去了条件和评判标准，以便学习者能够将注意力集中在要学习的特定行为上，更好地就这些信息进行交流。最后，学习者更愿意学习3-5个主要目标，而不是一长串从属目标。（二）示例1.言语信息和智慧技能2.心智运动技能3.态度1.言语信息和智慧技能教学目的说明了应用环境的教学目的引导旨在解决问题的小组讨论在实际的邻里犯罪监控组织（NCW）的会议上(会议一般在居民家里或社区活动中心举行)（CN），成功引导旨在解决社区现有犯罪问题的小组讨论（B）。成员的协作性将用来判断是否达到了目标（CR）。说明了学习环境的学期目标在由NCW新的受训领导人参加的、在县政府培训中心举行的邻里犯罪监控组织（NCW）的模拟会议上（CN），成功引导旨在解决给定问题的小组讨论（B）。成员的协作性将用来判断是否达到了目标（CR）。教学目的中的主要步骤主要步骤绩效目标6.管理小组协作交流6．在由NCW新的受训领导人参加的、在县政府培训中心举行的邻里犯罪监控组织（NCW）的模拟会议上（CN），管理小组协作交流（B）。与会者自由参与、自觉贡献，完全配合领导人和其他人员（CR）。从属技能主步骤的从属目标示例6.1说出促进协作交流的成员行为6.1.1当被要求口述或写出(CN)促进协作交流的成员行为时，说出这些行为（B）。至少要说出六种促进行为（CR）。6.1.2当被要求口述或写出(CN)在他们的观点被小组质疑时应采取的行为时，说出这些能促进小组协作交流的正面行为（B）。至少要说出三种可能的行为（CR）。6.2区分小组成员协作行为6.2.1给定小组成员在开会时的行为描述（CN），指出这些行为是否为协作行为（B）,正确区分率要超过80%（CR）。6.2.2给定NCW开会时的分段录像（CN），指出这些行为是否为协作行为（B）,正确区分率要超过80%（CR）。6.3说出鼓励协作的策略6.3.1当被要求写出领导人促进或抑制成员讨论和协作的行为时(CN)，说出这些行为（B）,学习者至少要列举出10种鼓励行为和对应的抑制行为（CR）。6.4区分鼓励特定协作行为的策略6.4.1给定小组领导人在会议期间的行为描述（CN），指出这些行为是否可能鼓励或抑制小组协作交流（B），对于给定的行为，学习者要能正确区分其中的80%（CR）。6.4.2给定NCW开会时领导人行为的分段录像（CN），指出领导人的这些行为是否可能鼓励或抑制成员间的协作交流（B），无论是鼓励行为还是抑制行为，学习者都要能正确区分其中的80%（CR）。6.5促生成员协作行为6.5.1在模拟NCW问题解决会议上，学习者扮演小组领导人（CN），做出促进成员间协作的行为（B）。在讨论过程中，小组成员彼此之间以及与领导人之间都能友好合作（CR）。心智运动技能和对应的绩效目标示例步骤对应的行为目标2.1学会如何操作千斤顶2.1给你一个标准的剪式千斤顶和分开的千斤顶把手（这个不放在汽车下面）（CN），操作千斤顶（B）。固定把手，摇动把手将千斤顶举起来，松下安全钩，降低千斤顶到关闭状态（CR）。2.2确定千斤顶与汽车的接触点2.2给你一个独立的剪式千斤顶和一辆不稳定地停在路边的小车（CN），准备安装千斤顶（B）。将车重新停到平坦、坚固的地方，找到离要换的轮子最合适的安放千斤顶的位置，在这个位置下放好千斤顶（CR）。2.3安装千斤顶2.3给你一个在车下平稳放好的剪式千斤顶（CN），安装把手，升起千斤顶（B），千斤顶就在车架下，升到与车接触，试着调整一下千斤顶和车的位置和平衡，此时汽车没有被举起来，螺丝也没有松开（CR）。2.4在轮子前后设置障碍块2.4没有给障碍块，也没有告诉要放障碍块（CN），将障碍块放到与地面接触的轮子的后面（B），放足够的障碍块以获得最大的稳定性，在远离千斤顶的每个轮子前后各放一个（CR）。目的：为汽车换轮胎。学期目标：给你一辆汽车，有一个胎瘪了，换胎所需要的工具都在工具箱里，备用胎也在其该放的地方（CN），用备用胎替换坏胎（B）。过程中的每步要顺序执行，并遵守每步的要求（CR）。态度和相应的绩效目标示例态度相应的行为目标1.在酒店登记入住时非常注意防火安全1.1在酒店入住时不知道自己被监视（CN），旅行者（总是（CR））：（1）要求楼层低的房间，（2）咨询离他们房间最近的安全设施，如烟雾报警器，洒水装置和楼梯间（B）。2.在酒店登记入住时非常注意门户安全2.1在他们离开房间出去的时候不知道自己被监视（CN）,旅行者（总是（CR））：（1）让收音机或电视继续播放，并且开着灯；（2）在锁门之后确认门已安全锁好了（B）。2.2回到酒店房间时不知道自己被监视（CN）,旅行者（总是（CR））检查房间是否与他们走的时候一样，有没有人在房间。他们会一直将房间门锁上并拴上链（B）。3．呆在酒店时非常注意贵重物品的安全3.1在入住时不知道自己被监视（CN）,旅行者（总是（CR））咨询保险柜。他们会将有价值的文件、多余的现金、不戴的首饰放在保险柜里（B）。3.2在他们离开房间出去的时候不知道自己被监视（CN）,旅行者不会将首饰或钱放在酒店的家具上（B）。（三）小结在开始写绩效目标之前，你应该已经完成了教学分析，并且完成了对学习者和环境的分析。以这些分析结果为基础，你可以开始为你的教学目的、该目的中的所有步骤和子步骤，以及从属技能编写绩效目标了。编写目标可以从技能陈述中所描述的行为开始，对每种技能增加条件和评判标准，将其转换为一个行为目标。为了选择合适的条件，你需要考虑：（1）合适的刺激物和提示，以帮助学习者在记忆中搜索有关的信息，（2）所需资源材料的特点，（3）要完成的任务对于目标人群来说的复杂度水平，（4）与技能运用环境的相关性或真实性。对于态度目标，你还需要创造这样的环境，学习者在其中能自由做出选择，而不会受到报复。二、开发评价工具（一）概念1.标准参照评测2.入门技能测试3.前测4.练习或模拟测试5.后测（二）设计考试1.开发标准参照考试题的原则2.确定考题类型3.确定掌握标准4.题目排序5.编写答题指示6.开发测量行为表现、作品和态度的量表当我们建立了完整的绩效目标体系，我们就可以依据该目标体系设计标准参照的评价工具，即标准参照考试题，以备将来评估学习者是否具备学习该教学内容的基础、已经掌握了多少目标内容、学习进度和最终的学习效果等。1.标准参照评测标准参照评测由一组能够直接测定一个或多个绩效目标中所描述的技能的题目或任务组成。同义词：目标参照为了更明显地指出评测和绩效目标之间的关系考试的四种类型入门技能测试前测练习或模拟测试以及后测。测试类型设计者决策要测试的目标入门技能测试学习者是否已经做好了开始学习的准备？学习者是