第九章培训效果评估233

第九章培训效果评估学习重点了解培训效果评估的概念和作用掌握常见的几种培训效果评估模型掌握培训评估的流程和实施方法一、何谓培训效果评估培训效果（trainingeffectiveness）是指公司和学员从培训中获得的收益。培训评估（trainingevaluation）是指收集培训成果以衡量培训是否有效的过程。培训包括事前评估和事后评估。第一节培训效果评估概述二、培训效果评估的作用和局限性（一）培训效果评估的作用1.为决策提供有关培训项目的系统信息2.促进培训管理水平的提升3.使培训管理资源得到更广泛的推广和共享（二）培训效果评估的局限性1.评估委托方往往要求评估者做出全面的总结，甚至提出改进方案，一旦涉及与自己的利害关系，将使培训带有太多的主观感情色彩。2.评估往往是由内部人员进行的，这些人员可能不愿报告方案的消极因素，有些组织甚至要求培训方案设计者自己进行评估，这就愈发加重这种倾向。3.虽有培训效果评估制度，但难以使用其结果，评估虎头蛇尾，不了了之。三、培训效果评估的四个维度（一）相关度标准相关度是指培训结果与培训计划之间的相关性。有两种情况会导致培训结果缺乏相关性。一种是标准干扰，是指培训效果评估测量了不相干的能力或受到了额外因素的影响。另外一种是标准缺陷，是指期望测量的结果但却很难测量到。测量不相关的能力或额外因素的干扰无法测量培训目标中强调的结果成功与培训目标相关标准干扰标准相关度标准缺陷图9-1相关度（二）信度信度是指一项测试结果的可信程度、稳定程度。（三）区分度区分度是指学员取得的结果能够真正反应绩效的差别。（四）可行性可行性是指收集培训测量结果的难易程度。四、培训效果评估的关键问题第一个问题：有没有发生变化？培训的最根本目的就是改变学员的知识、技能、行为、态度，弥补在工作、人际关系上欠缺的地方。因此，评估培训效果的首要因素就是经过培训之后，学员有没有在上述几个方面发生变化。一次有效的培训必然会产生有变化的结果。第二个问题：这种变化是否由培训引起？由于学员培训前后的行为和态度变化，不仅仅取决于培训过程本身，还取决于组织环境的变化、培训期间个体的成长成熟、学员对培训的认知等多种因素的复合作用。因此，必须设法从诸多变量中区分出培训本身的影响。第三个问题：这种变化与组织目标的实现是否有积极的关系？企业要想生存、发展，重视绩效是必然的。企业组织的很多活动都是围绕实现企业绩效的提升而展开的，培训也不例外，培训的最终目的就是在提高所有员工水平的基础上推动企业的发展。因此，培训后的变化是否与组织目标的实现有积极的关系是评定培训效果好坏的关键指标之一。第四个问题：下一批学员完成同样的培训后，是否还能发生类似的变化？就是培训的效果问题。如果只是某一批学员发生了改变，而其他人员变化不大，就应该分析除了培训以外的其他影响因素。如果说技能、知识水平差不多的多批学员均发生了相似的显著变化，培训发生了作用就是毫无疑问的了。一、科克帕特里克的四级评估法Kirkkatrick（1967）创立的四级评估法（Kirkpatrick'sFourLevelsofEvaluation）是培训界最为流行的一种评估方法，培训的四级评估主要包括以下四个层面：（4）结果层面，即主要考察培训为组织带来的效果。（3）行为层面，即主要考察学员通过培训所发生的行为举止的改进或变化。（2）学习层面，即主要考察学员学到的知识和技能。（1）反应层面，即学员对已发生的培训活动有何感觉或印象。第二节培训效果评估理论（一）反应层面（1）对培训师的评估（2）对培训内容的评估（3）对培训方法的评估（4）对培训条件和环境的评估这一层面的评估内容局限在培训的表面效果上，其内容主要有：1.评估内容2.评估方法反应层面的评估目的在于考察学员对培训活动的满意度，在大多数情况下，是向学员发放一份“培训评估表”，借以收集学员对培训师、培训内容、培训方式方法、培训条件和环境以及培训管理各方面的主观感受。（二）学习层面（1）评估知识掌握的情况（2）评估技能掌握的情况（3）评估学员的态度1.评估内容2.评估方法主要评估学员从培训中获得的知识、技能和态度。（1）知识领域常用的评估方法•根据知识领域的测评内容，采用客观题型进行检测较为合适。•客观测试的题目类型一般有以下四种：①正误判断题。②多项选择题。③配对题。④填充题。（2）技能领域常用的评估方法•根据技能领域的测评内容，在测评动作技能时，采用操作测验的形式较为适宜。•操作测验的不足之处：①仪器、工具或设备还可能会由于学员的操作不当而受损。②除了耗材外，还需要安排适宜的测试场地。③测试成绩往往会受到测评人主观判断的影响，从而影响测验的可信度。④与客观测验相比，需要对学员一一进行单个的测试，故须投入较多的人力。•为了解决以上提到的困难和不足，我们可采用以下应对的两种办法：①利用模拟测验方法。②建立客观的评价标准。（3）态度领域常用的评估方法测量态度的方式主要有以下四种：①表述法是向学员提供一系列的陈述，让他们按照自己真实的感觉进行画钩选择填写或回答。②观察法根据学员在培训期间所表现出的参训行为作出结论。即通过观察他们的行为来推断他们的态度。③生理现象判断法通过生理反应作出判断，即通过诸如瞳孔扩张和收缩、呼吸和心跳频率、皮肤电反应等生理学方法对态度进行测量。④报告法通过学员提交的报告来了解和考察人们的态度。报告可以书面形式，也可以口头形式来进行表述。（三）行为层面1.评估内容行为层面的评估内容主要是测评学员在培训后将知识、技能和态度运用和发挥在工作岗位上的程度，具体表现在以下四个方面：①根据学员培训后的工作表现，测评学员是否达到了培训目标中规定的标准和要求。②测评培训内容是否能够为工作所用。③测评学员在工作中新的表现或改变在多大程度上是由于参加了培训而带来的，如迟到减少、浪费减少、投诉减少、纪律性增强等。④测评阻碍在培训中学到的东西不能在工作岗位上得到应用的因素。2.评估方法（1）问卷/访问法（2）行为观察法（3）检查行动计划（4）自我评估法（四）结果层面1.评估内容结果层面的评估内容，主要是为了反映培训最终给组织带来了怎样的效果和影响。可以度量的评估内容具体表现在以下三个方面：2.评估方法（1）组织目标的实现程度（2）外部客户的满意度（3）内部员工的满意度（1）指标对照检查法在培训结束后的适宜时间内，根据制定的培训目标和要求对有关的计划指标进行测评，即对培训前后的指标完成情况进行对照比较。（2）绩效考核法（3）员工/客户问卷访问法二、考夫曼的五层次评估考夫曼（Kaufman）扩展了柯克帕特里克的四层次模型。他认为培训能否成功，培训前的各种资源的获得是至关重要的，因而应该在模型中加上这一层次的评估。并且培训所产生的效果不应该仅仅对本组织有益，它最终会作用于组织所处的环境，从而给组织带来效益。因而他加上了第五个层次，即评估社会和顾客的反应。如表9-3所示。表9-3考夫曼的五级评估模型层次标准具体解释1a培训可行性人力、财务和物力资源投入的质量和可获取性1b反应方法、手段和过程的可接受程度和熟练度2获得个体和小群体技能与胜任力3应用组织内个体效用和小群体（产品）效用4组织产出对组织的贡献和回报5社会产出社会和顾客的反应、结果和回报三、CIRO评估模型评估从情景（Contextual）、输入（Input）、反应（Reaction）和输出（Outcome）四个方面进行，是一种四层次的评估方法，起初由Warr，Bird和Rackham（1970）开发，用于欧洲，是一种非常独特的区分评估过程的方法。比一般的培训评估的范围更宽泛。如表9-4所示。表9-4CIRO的评估模型层次标准具体解释1情境评估培训的组织者2输入评估培训师3反应评估学员4输出评估公司高层四、CIPP评估模型CIPP模型与CIRO相似，它包括四种评估：情境评估、输入评估、过程评估和输出评估。表9-5CIPP的评估模型层次标准具体解释1情境评估相关环境、需求和机会、存在问题的评估2输入评估如何最佳使用资源，成功实施培训3过程评估培训中提供反馈给培训实施者，监控失败的来源或提供预先的信息4输出评估培训结果测量五、菲利普斯的ROI过程模型ROI过程模型在柯克帕特里克的四层次模型上加了第五个层次，分别叫反应和已经计划的行动、学习、工作应用、组织结果和投入产出。第一层次，测量学员的满意度以及他们打算如何应用培训所学。第二层次，测量学员在培训过程中所学。第三层次，使用许多跟踪方法，测量学员使用新技能的频率等，来判断学员是否将所学应用于实际工作中。第四层次，测量学员应用培训材料后对组织产生的积极影响，通常测量产量、质量、成本、时间和顾客满意度。第五层次，培训固然会对组织产生积极的影响，但是同样需要比较对培训的投入以及通过培训对组织产生的收益。评估工具评估目的收集数据检验培训效应将数据转化成货币值计算培训成本计算投入回报识别无形利益评估时间评估水平图9-2ROI过程模型一、培训评估的流程界定评估目的调整培训项目评估结果反馈明确评估标准制定评估方案收集分析评估信息撰写评估报告培训评估实施图9-3培训评估流程遵循科学的培训评估流程是顺利、有效地进行培训评估活动的关键，一般来说，有效的培训评估应该包括以下八个主要环节（见图9-3）。第三节培训评估的流程与实施（一）是否要进行评估1.培训评估的五要（1）培训项目经费超过一定的警戒线时，要进行评估；（5）当组织面临一系列重大改革举措，需要评估结论作为依据时，应进行评估。（3）培训项目的效果对组织很关键时，应被评估；（2）培训项目需要三个月或更长时间时，应被评估；（4）一个单元的培训会对组织其他业务单元产生很大影响时，应被评估；2.培训评估的五不要（1）培训项目目标不明确或目标尚缺乏共识时，不应评估。（5）培训项目本身缺乏外在价值，不应进行评估。（4）评估资源（特别是资金）不足，不能保证质量的评估不应进行。时间有限主要包括两种情况：①评估决策者给的评估时间太紧，可能影响到评估质量。②培训项目的效果还未充分展示出来，进行评估难以得出科学结论。（3）时间有限，不能保证质量的评估不能进行。下述两种情况不应该进行评估：其一，评估决策者动机不纯。其二，决策者虽有利用评估结果改进培训项目的愿望，但缺乏把评估结论或建议付诸实施的权威和能力。（2）培训项目评估结果不能得到利用时不应进行评估。（二）明确评估标准根据培训的目标制定具有可操作性的标准是进行培训评估的关键。明确评估标准一般经过目标分解、拟定出具体标准、标准讨论、实验调整四个步骤。（三）制定评估方案1.确定培训评估层次2.确定培训评估参与人员3.选定评估对象（四）收集并分析评估信息主要的一些评估资料包括企业的培训需求分析报告、本次培训项目计划、在方案形成和实施过程中的各种资料等。（五）分析培训评估信息培训主管对前期的培训评估调查表和培训结果调查进行统计和分析。即那个收集到的问卷、访谈资料等进行统计、分析、整理、合并，剔除无效资料，同时得出相关结论。（六）撰写评估报告培训主管在分析以上调查表以后，再结合学员的结业考核成绩，对此次培训项目给出公正合理的评估报告。（七）评估结果反馈（八）调整培训项目为了改进培训质量、强化培训结果、降低培训成本，企业需要建立良好的培训评估反馈系统。培训报告的内容要及时在企业内部进行传递和沟通，评估报告应该传递到学员、培训主管、培训师、学员的直接上级和企业高层。培训评估报告反馈后，紧接着要采取相应的纠编措施并不断跟踪。这时培训主管就可以根据培训的效果对培训项目进行调整。二、培训评估的实施(一)评估时机的选择由于四级评估在各层面上所采用的评估方法、评估重点和评估对象各有不同，所以在实施各个层面评估时，须安排合理的时间和选择适宜的时机。反应层面的评估一般在培训中和培训结束后进行，采用交谈和随堂观察方法时，宜在培训过程中进行，学习层面的评估通常在培训中或培训结束时进行。一般来说，人们更倾向于在培训结束时通过笔试、口试和操作测验等方式，对学员的知识、技能和态度的领悟和掌握情况进行测评。行为层面的评估通常宜在