第八章培训与开发项目评估

第八章培训与开发项目评估通过本章的学习，应该重点了解和掌握以下内容：1．人力资源培训效果评估的内涵2．为什么要进行培训效果评估3．柯克帕特里克、CIRO、CIPP和菲利普斯的培训效果评估模型4．培训效果评估中收集信息的方法5．培训效果评估的财务模式6．在培训效果评估中常采用的研究设计方法第一节人力资源培训效果评估的内涵人力资源开发项目的主要目的是为了确保组织中的成员拥有能够满足当前和未来工作所需要的技术或能力。组织对其所开展的人力资源开发项目进行评估的意义主要体现在以下几个方面：通过评估可以让管理者以及组织内部的其他成员相信人力资源开发工作是有价值的通过评估可以判断某人力资源开发项目是否实现了预期的目标，及时发现人力资源开发项目的优缺点，必要时进行调整计算人力资源开发项目的成本——收益率，为管理者的决策提供数据支持区分出从某开发项目中收获最大或最小的学员，从而有针对性地确定未来的受训人选，并为将来项目的市场推广积累有利的资料学者时间内涵泰勒（Tyler）1953将学员的表现与行为目标相比较的过程，即评价受训者改变的情况。凯利（Kelly）1958可以判断一个人工作贡献的价值、工作的品质和数量、未来发展的趋势以及为达到目标所需要的帮助。斯达夫彼姆（Stufflebeam）1966对教育培训方案的确定、获取以及提供资料，作为决策参考的过程，最重要的目的在于改善现状。海布林（Hamblin）1974指对教育方案评估资料收集的过程，并分析归纳影响培训各种因素，反馈到有关部门人员。斯德（Snyder）1980对组织而言，培训方案评估是一组程序，经过系统化设计，收集有关方案，改变组织的过程和判断资料，使评估的结果可以获得组织在方案实行前、中、后所有相关的行为资料。戈尔斯坦（Goldstein）1986培训效果评估是针对特定的培训计划，系统地收集资料，并给予适当的评价，作为甄选，采用或修改教育培训计划等决策判断的基础。克里格尔（Clegg）1987培训效果评估可以确定培训是否值得，指出需要改进的地方，审核目标达成的情况，决定培训是否继续存在，找出更好的训练方法并建立未来的培训指导方针。菲利普斯（Phillips）1991培训效果评估是一种系统性的过程，用以决定培训方案的意义及价值，并对该培训方案的未来使用情况作出决策。培训效果评估的内涵第二节培训效果评估的发展阶段及其目标一、培训效果评估的发展阶段第一阶段：培训评估关注的是培训者和受训者对培训的反应，而这样的反应往往带有随意性。第二阶段：在培训评估中使用了一些实验研究的方法。第三阶段：创造性地将研究方法与现实条件结合起来，使培训项目评估的操作性和可行性大大增加。第四阶段：认识到整个培训和人力资源开发流程都会对组织产生影响，所以评估的重点从单纯的事后评估转向了对整个人力资源开发流程的评估。二、培训效果评估的目标1.布朗德伯格（Branderburg）的研究（1982）分析培训活动成本改进培训发展方案给学员、培训方案设计者和管理者提供反馈了解员工技术水平与效率发现组织未来领导者为绩效评估提供有效信息为员工安排适当的工作，为培训机构建立地位与声誉2.菲力普斯（Phillips）的研究（1983）判断某项目是否实现了它的目标找出人力资源开发项目的优缺点，如果需要的话，进行一定的调整计算人力资源开发项目的成本——收益率选择谁将参加将来的培训需要衡量各种测验、案例和练习是否清楚有效区分出从某项目中收获最大或最小的受训者强化受训者所学到的主要内容为将来项目的市场推广积累有利的资料判断项目是否能够满足特殊需求协助管理者作出决策建立数据库3.斯威尔克塞克等（Swierczek&Carmiachael）的研究（1985）改进培训方案给学员、方案设计者和管理者提供反馈意见评价员工技术水平4.克里格尔（Clegg）的研究（1987）判断教育培训方案价值证明教育培训效用的存在审核教育培训项目达成的情况帮助教育培训获得更多的利益指出教育培训需要改进的地方建立教育培训未来的指导方针高层管理者的要求有助于培训方案体系的推销让受训者了解自己的成就让受训者感受自己的重要性判断教育培训人员的成效5.布什内尔（Bushnell）的研究（1990）测量成本与结果是否平衡改进培训方案学员知识与技能的掌握程度6.特索罗（Tesoro）的研究（1991）保证培训能够达到既定目标了解学员对培训教师、培训环境、设备等因素的反映发现培训方案最为出色的地方判断学员在是否将学到得技能知识运用到工作中检查教材的效度确认问题，寻找可能解决问题的方案判断方案的价值向组织发布培训的效益做出有关的培训方案规划改善培训方案的内容和结构本书的观点：培训的成本效益分析向培训的设计者、管理者和参与者提供反馈改进培训方案判断学员实际工作中对培训中涉及到的技能知识的运用情况评价培训人员的成效与强化评估机构的地位第三节培训效果评估的模型模型/框架培训评估指标1．柯布（Korb）1956知识与态度、受益及运用程度、绩效纪录和主管评语、生产效率、工作满意度和士气2.柯克帕特里克（Kirkpatrick）（1967，1987，1994）四个层次：学员反应、学习成果、工作行为、经营业绩3.CIPP（高尔文，1983）四个层次：情境、投入、过程、产品4.CIRO（沃尔等人，1970）情境、投入、反应、产出5.布林克霍夫（1987）Brinkerhoff六个阶段：目标设定、项目策划、项目实施、及时的产出、中间产出或结果应、产生的影响和价值6.系统方法（布什内尔，1990）Bushnell四个活动集合：输入、过程、输出、结果7.克里格尔、福特和萨拉斯（1993）Clegg学习结果的分类框架：将学习结果分为：认知、技能和情感三类，提出了测量每一类结果的指标8.考夫曼和凯勒（1994）Kauferman五个层次：反应、获取、应用、组织产出、社会贡献9.霍尔顿（1996）Holton五类变量以及它们之间的关系：次级影响、动机要素、环境要素、结果、能力要素10.菲利普斯（1996）Phillips五个层次：反应和行动改进计划、学习、学习成果在工作中的应用、经营业绩、投资回报人力资源开发评估模型/框架一、柯克帕特里克的培训效果评估模型反应学习行为结果准则信息的价值采用频率评估的难度反应最低经常采用容易学习行为结果最高不常采用困难二、CIRO和CIPP评估模型CIRO评估模型情景评估输入评估反应评估输出评估CIPP评估模型产出评估投入评估过程评估背景评估三、菲力普斯的五级投资回报率第一级是反应和既定的活动第二级评估的是学习第三级评估的是在工作中的运用第四级评估是业务结果第五级评估是投资回报率四、其他模型和框架布林克霍夫将培训评估模型拓展成了六个阶段目标设定：培训需求是什么？项目策划：怎样做才能满足培训需求？项目实施：项目运作得好吗？影响和价值：培训是否对组织的运作做出了有价值的贡献？中间产出或使用结果：受训者是否在工作中运用了他们所学的东西？即时的结果：受训者学到东西了吗？类别学习结构测量的重点备选的培训评估方法认知认知结果言语知识知识的组织认知策略陈述性知识脑海中的模型自我洞察储存的知识量回忆的准确性速度，知识的可获取性类似于知识各部分之间的最佳联系排列知识各部分间的等级次序自我觉察自我调控再认和回忆测验能力测验速度测验自由分类结构分析，比如路径搜寻探索性的口语分析认知技能自我报告测验的准备状态技能基于技能的结果编辑自主性组合程序化自动加工调整操作速度操作的流畅性错误率组块区别加强要求注意可利用的认知资源对目标行为进行观察动手测验结构化的情景访谈次级任务操作干扰问题内置的测量情感情感结果态度的动机针对的目标（比如安全意识）态度的强弱动机倾向自我效能目标设定态度引导态度的强弱学习取向和绩效取向取向是否恰当知觉到的操作能力目标的层次目标结构的复杂性目标承诺自陈的测量自陈的测量自陈的测量自陈的测量自由回忆自由分类培训评估所用的学习结果分类框架著名企业评估标准萨拉托加研究所1.学员满意度2.学习的变化3.行为的变化4.组织的变化美国电报电话公司1.反应结果2.能力结果3.应用结果4.价值结果IBM公司1.反应2.测验3.应用4.企业结果美国施乐公司1.进入能力2.课后绩效3.熟练绩效4.组织绩效摩托罗拉公司1.学员反应2.学员学习3.学员运用4.成果与影响世界著名企业对培训效果评估指标的运用影响培训效果评估方案类型的因素影响因素该因素如何影响评估方案的类型修改的可能性培训项目能够修改吗？重要性无效的培训会对顾客服务、产品开发或员工间的关系产生影响吗？范围有多少员工参与培训？培训目标培训是为了学习、成果转化还是二者兼顾？企业文化对结果的解释是企业准则和期望的一部分吗？专业技术是否具有分析复杂研究成果的专业技术？成本评估是不是成本很高？时间限定我们何时需要评估结果信息？第四节培训评估所需数据的收集方法一、培训评估所需数据的类型产出质量成本时间生产的数量制造的吨数装配的件数售出件数销售额窗体加工数量贷款批准数量存货的流动量探视病人的数量对申请的处理数量毕业的学员数量任务的完成数量订货量奖金发货量新建的帐目数量废品次品退货出错比率返工缺货产品暇疵与标准的差距生产故障存货的调整工作顺利完成的比例事故数量客户投诉预算的变化单位成本财务成本流动成本固定成本营业间接成本运营成本延期成本罚款项目成本节约事故成本规划成本销售费用管理成本平均成本节约运转周期对投诉的应答时间/次数设备的停工时间/次数加班时间每日平均时间完成所需时间贷款的处理时间管理时间培训时间开会时间修理时间效率工作的中断时间对定货的回应时间晚报告时间损失的时间天数硬性数据的四种主要类型一、培训评估所需数据的类型软性数据的主要类型组织氛围满意度新技能不满的数量歧视次数员工的投诉工作满意度组织的承诺员工的离职比率赞成性反应工作满意度态度的变化对工作职责的理解可观察到的业绩变化员工的忠诚程度信心的增加决策问题的解决冲突的避免提供咨询的成功机会倾听理解能力阅读速度对新技能的运用对新技能的运用意图对新技能的运用频率新技能的重要性工作习惯发展创造性旷工消极怠工看病次数违反安全规定沟通破裂的次数过多的休息升迁的数量工资的增加数量参加的培训项目数量岗位轮调的请求次数业绩评估的打分情况工作效率的提高程度新想法的实施项目的成功完成对建议的实施量设定目标二、数据的收集方法方法具体的过程优点缺点1访谈法和一个或多个人进行交谈，以了解他们的信念、观点和观察到的东西灵活可以进行解释和澄清能深入了解某些信息私人性质的接触引发的反应在很大程度上是回应性的成本很高面对面的交流障碍需要花费很多人力需要对观察者进行培训2.问卷调查法用一系列标准化的问题去了解人们的观点和观察到的东西成本低匿名的情况下可提高可信度可以在匿名的情况下完成填写问卷的人可以自己掌握速度有多种答案选项数据的准确性可能不高如果是在工作中完成问卷填写的，那么对这个过程很难进行控制不同的人填写问卷的速度不同无法保证问卷回收率3.直接观察对一项任务或多项任务的完成过程进行观察和记录不会给人带来威胁是用于测量行为改变的极好的途径可能会打扰当事人可能会造成回应性的反应可能不可靠需要受过训练的观察者4.测验和模拟在结构化的情景下分析个人的知识水平或完成某项任务的熟练程度购买成本低容易记分可迅速批改容易施测可大面积采样可能会带来威胁感也许与工作绩效不相关对常模的依赖可能会歪曲个人的绩效可能有文化带来的偏差5.档案记录分析使用现有的信息，比如档案或报告可靠客观与工作绩效有密切的关系要花费大量的