培训评估的理论和研究

1培训评估理论和研究述评陶祁冯明上海交通大学管理学院重庆大学工商管理学院上海200052重庆400050摘要：本文首先讨论了受训者特征对培训效能的影响，然后介绍了目前流行的五种培训效果评估模型，最后讨论了培训效果评估研究中应当注意的问题。关键词：培训效能培训评估模型受训者特征自从有了培训以后，就有了对培训效果的探讨，但直到1967年Kirkpatrick提出培训模型后，培训评估活动才更加系统化和结构化，并且促进了大量实证研究的产生。但大部分研究集中在影响培训效能的因素上，此外，有研究者也对Kirkpatrick的模型提出批评，从而提出了自己的模型。1.受训者特征对培训效能的影响从四十年前到现在，对培训效能的影响因素的研究一直是培训评估研究的热点，研究者在研究影响培训评估的因素时，主要集中在研究培训效能的预测因素（PierreDionne,1996），即包括组织特征、培训课程方面、受训者的特征和其它变量上（如培训方法，上级的授权以及有利的维持气氛等）。由于受训者在培训活动中的地位，因此在影响培训效能的因素中受训者的特征成为研究的重点。下面我们就受训者特征中的认知能力、个性和动机因素对培训效能的影响进行讨论：1.1认知能力许多研究者认为一般认知能力影响工作绩效和培训项目的学习能力（Ree&Earles，1991；Schmidt&Hunter,1993）。认知能力包括三个方面：语言理解力、定量分析能力和推理能力。语言理解力指一个人理解并会使用书面和口头语言的能力。定量分析能力是指一个人解决数学问题的速度和准确率。推理能力指一个人发现解决问题途径的能力。认知能力水平低的受训者很有可能完不成培训内容，或者在培训结束后对培训所学内容进行评价测试时的分数很低。随着工作变得越来越复杂，认知能力对工作的成功也越来越重要（Noe，1999）。在对认知能力进行测量时，通常通过描述性知识的测量来进行（Schmidt&Hunter,1993）。1.2个性除了认知能力影响培训效能之外，研究者认为个性也发挥着重要作用。但是在个性与培训结果之间的关系上，研究者有两种看法。一种是研究者认为个性发挥的作用通常是通过影响受训者的动机水平从而最终影响培训效能的（Baldwinetal.,1991；Colquitt&Simmering，1998）。如Martocchio和Judge（1997）等人的研究认为，在“大五”中“责任意识”维度上得分较高的个体在培训过程中表现得更加有信心，学习动机更强，培训效果较好。另一种看法是个性直接影响培训结果（Gistetal.,1998；Quinonesetal.,1995）。其实，这两者并没有冲突，个性特征是如此的宽泛，如在认知结构上所显示的个体差异必然直接影响其培训结果，而在自我设定目标水平上的差异必然是通过培训动机水平的差异来影响培训结果的。21.3动机因素受训者的培训动机对受训者本身的学习产生很大影响。Kozlowski（2001）等研究了受训者的学习倾向性在培训中的作用。他们认为，受训者在接受培训中有两种倾向：绩效取向和学习取向。绩效取向的个体希望碰到的是一些容易的任务，能够对自己能力进行积极的评价，而避免哪些新颖的具有挑战性的情境。而学习取向的个体愿意接受挑战，在面对障碍和失败时能够坚持，希望通过探求和学习得到自我发展。另外一个受到众多研究者关注的动机因素是自我功效。自我功效是员工对自己能够胜任一项工作或学习一项培训内容的自信程度（Bandura,1997）。自我功效与任务选择、任务努力和坚持等因素有关（Gist&Mitchell,1992）。许多研究表明，自我功效与工作绩效具有显著正相关。Noe（1999）认为，培训环境或工作环境会对过去没有能够圆满完成工作的员工构成压力，从而降低了他们的自我功效。他提出可以采取一定的方法来提高受训者的自我功效水平。在自我功效的测量方面，可以通过问卷来测量自我功效的强度。Kozlowski（2001）认为培训者通过设定不同导向的培训目标促使受训者的知识结构和自我功效发生显著改变，从而增强培训适应性。总之，这方面的研究颇丰，在考查受训者个体特征时，我们注重那些与胜任力模型紧密相关的个性特质，强调其适应性的特点。2.培训评估模型当前对培训评估进行系统总结的模型占主导地位的仍然是Kirkpatrick的四层次模型，但是其他不少研究者也对该模型提出批评，针对其不足提出自己的模型，主要有：Kaufman的五层次评估、CIRO方法、CIPP模型、Phillips的五层次ROI框架模型（David,1993）。2.1Kirkpatrik的培训评估模型Kirkpatrick的四层次模型是最著名的评估框架（如下表1）。该模型认为评估必须回答四个方面的问题，从四个层次分别进行评估，即受训者的反应（受训者满意程度）、学习（知识、技能、态度、行为方式方面的收获）、行为（工作中行为的改进）和结果（受训者获得的经营业绩）对组织的影响。所谓反应即指参与者对培训项目的评价，如培训材料、培训师、设备、方法等。受训者反应是培训设计需要考虑的重要因素。学习评估是测量原理、事实、技术和技能获取程度。评估方法包括纸笔测试、技能练习与工作模拟等。行为改变是测量在培训项目中所学习的技能和知识的转化程度，受训者的工作行为有没有得到改善。这方面的评估可以通过参与者的上级、下属、同事和参与者本人对接受培训前后的行为变化进行评价。结果评估是在组织层面上绩效是否改善的评估，如节省成本、工作结果改变和质量改变。表1Kirkpatrick评估四层次模型层次问题1．反应2．学习3．行为4．结果受训者喜欢该培训项目吗？受训者在培训项目中学到了什么？受训者在学习的基础上有没有改变行为？行为的改变对组织的影响是不是积极的？Alliger等（1997）在培训效标关系的元分析中主要针对Kirkpatrik的四层次模型中3的反应和学习层次进行了扩展（如下表2）。他们认为，Kirkpatrik的四层次模型中的反应仅仅是从情感上进行评估的，而对于培训的效用大小的反应更加重要。因为效用型反应与培训迁移的相关更大。在学习层次上，原先的模型仅仅注重受训者当时描述性知识学习的评估，而受训者的程序性知识掌握得如何直接影响培训迁移的程度。并且他们得出了效用型反应与培训迁移的相关要比传统评估中的学习与培训迁移的相关要大。表2扩展后的Kirkpatrick评估四层次模型反应情感反应效用判断学习瞬时反应知识保留行为/技能在培训情境中的显示行为迁移结果结果2.2Kaufman的五层次评估Kaufman扩展了Kirkpatrick的四层次模型，他认为培训能否成功，培训前的各种资源的获得是至关重要的，因而应该在模型中加上这一层次的评估。并且培训所产生的效果不应该仅仅对本组织有益，它最终会作用于组织所处的环境，从而给组织带来效益。因而他加上了第五个层次，即评估社会和顾客的反应（模型如表3）。表3Kaufman的五层次评估模型层次问题5、社会产出4、组织产出3、应用2、获得1b、反应1a、培训可行性（enabling）社会和顾客的反应、结果和回报对组织的贡献和回报组织内个体效用和小群体（产品）效用个体和小群体技能与胜任力方法、手段和过程的可接受度和熟练度人力、财务和物理资源投入的质量和可获取性2.3CIRO方法CIRO是contextual,input,reaction和outcome的缩写。这种方法认为评估必须从情境、投入、反应和结果四个方面进行。所以也是一种四层次的评估方法，起初由Warr，Bird和Rackham开发，用于欧洲。是一种非常独特的区分评估过程的方法。它比一般的培训评估的范围更宽泛。情境评估是指获取和使用当前情境的信息来明确培训需求和培训目标。这种评估实际上是进行培训需求分析。在此过程中，需要评估三种目标：最终目标（组织可以通过培训克服或消除的特别薄弱的地方），中间目标（最终目标所要求的员工工作行为的改变）和直接目标（为达到中间目标，员工必须获取的新知识、技能和态度）。情境评估是要收集组织绩效4的信息，评估这些信息确定培训需求，在此基础上设定三个层次的目标。投入评估是指获取和使用可能的培训资源来确定培训方法。这些资源包括内部资源和外部资源。这当中财务预算和管理要求可能限制了目标的选择。反应评估是指获取和使用参与者的反应来提高培训过程。这个评估过程的典型特征是参与者的主观评价，参与者的主观评价是非常重要的，但是评价质量的好坏某种条件下取决评估依赖于信息收集的方法是否具有系统性和客观性。结果评估是指收集和使用培训结果的信息。该评估被认为是评估最重要的一个部分。它包括四个阶段：界定趋势目标、选择或构建这些目标的测量方法、在合适的时间进行测量和评估结果以改善以后的培训。2.4CIPP模型CIPP模型与CIRO相似，它包括四种评估：情境评估、投入评估、过程评估和结果评估。情境评估界定相关环境、识别需求和机会和诊断具体问题，需求分析是情境评估的一个例子。投入评估可以提供如何最佳使用资源去成功实施培训的信息。投入评估的信息有助于制定培训项目计划和培训设计的一般策略，通常投入评估的结果有关于制度、预算、时间安排、建议书和程序等方面的内容。过程评估可以提供反馈给负责培训实施的人，它可以监控可能的失败来源，或给预先的决策提供信息。结果评估对培训目标进行测量和解释。总之，情境评估有助于形成目标；投入评估帮助计划培训项目；过程评估引导培训实施；结果评估有助于回顾决策。2.5Phillips的五层次ROI框架通常在培训结束后，绝大多数的公司只是报告在培训上花费了多少费用，多少培训时间，参加培训的人员数目，而没有提供培训给公司带来的价值，参与者所学习到的东西以及由于培训带来的投资回报。近年来，特别强调要对培训发展的投入的评估，ROI过程成为评估的重要而关键的部分。ROI过程在Kirkpatrick的四层次模型上加上了第五个层次。分别叫反应和已经计划的行动、学习、工作应用、组织结果和投入产出。第一层次，测量受训者的满意度以及他们打算如何应用培训所学。这一层次的评估通常是在培训后采用问卷测量。几乎所有的组织都会评估这一层次，但是受训者满意的结果并不能确保他们会在工作中应用新的技能和知识。第二层次测量受训者在培训过程中所学。可以采用的评估工具有测试、技能练习、角色扮演、模拟、多人评估等。学习检查有助于确保受训者是否掌握了培训材料并且知道如何使用它们。然而受训者学习情况再好，并不能保证它们一定会被应用于实际工作中。在第三层次，使用许多跟踪方法测量受训者新技能的使用频率等来判定受训者是否将所学应用于实际工作中。这个层次很重要，但是它们并不能确保对组织有积极的影响。第四层次测量受训者应用培训材料后对组织产生的积极影响，通常测量产量、质量、成本、时间和顾客满意度。第五层次认为，培训对组织产生了积极的影响，但是它们的成本也许太高。ROI通常表示成一个百分数或成本与收益的比率。5以下模型（图1）是ROI方法实施培训评估的全过程。从数据收集开始，以ROI计算结束。图1.ROI过程模型评估目的必须在评估计划之前考虑，因为评估目的常常决定了评估的范围，评估工具的类型和所收集的数据类型。如：ROI分析中有一个评估目的是比较培训项目的成本和收益。这就要求收集的数据是硬数据，数据收集的类型是绩效监控，分析的类型是全面分析，结果的报告方法是提交正式的评估报告。最常见的七种收集数据的工具是调查、问卷、访谈、目标群体、测试、观察和绩效记录。选用何种工具收集数据取决于组织的文化对它们的熟悉程度以及是否符合情境和评估要求。在某些情况下，数据收集的时间是在培训实施前后进行的。然而，有时培训前的数据无法收集得到，只能在培训后进行跟踪评估。这里的一个重要问题是跟踪评估的时间，通常跟踪评估的时间范围是3-6个月。在实际操作中，组织很少进行ROI评估，因为ROI评估过程是一个困难并且昂贵的过程。如果要进行第五层次的评估，那么前四个层次的评估都是必不可少的。3.简评以上培训评估模型中都有着kirkpatrick的经典培训评估模型的影子