伯明翰阿拉巴马大学项目评估课件

项目评估HueyT.Chen,Ph.D.行为健康室伯明翰阿拉巴马大学美国第一单元:基本概念和问题项目评估的定义Rossi,etal.,2004:利用社会学研究的程序来对社会学干预项目进行系统的研究Chen,2004:利用评估方法、技术和知识来系统评价和改善干预项目的计划，实施及效果干预项目通过有组织的努力来改善社会问题或增进人群健康卫生项目项目评估的目的评价项目改进基本概念和评估中的问题利益相关者:个人，小组或组织对项目运行的方式具有浓厚的兴趣项目评估中利益相关者的担心担心项目评估将消耗项目资源担心项目将会终止担心信息将会被滥用担心评估的设计没有针对性或不公平有效的评估对未来有指导作用具有科学性，并且具有利益相关者可信性科学上的可信度:…以科学的原则为指导利益相关者可信性：…利益相关者认为能够反映实际情况且公平整体策略内部与外部评估者问题管理者的信心目标对项目的理解潜在的使用价值自治评估者的作用和评估方法(1)独立评估:评估者作为客观的评估者参与式评估:评估者与利益相关者合作来设计评估参与式评估的赞成与反对者赞成:增加了利益相关者的信任度减少了评估者与项目管理者及工作人员之间的冲突有利于改善项目减少了权力的不平衡提高了评估结果的利用率反对:耗费时间和资源可能不客观目前的趋势:第二单元:项目评估的分类评估类型的传统分类形成性和结论性评估过程和结果评估形成性和结论性评估(1)Scriven,1980:评估可能向那些希望改善某些事情的人提供反馈信息(形成性评估);或向决策者提供信息以便他们决定资助、终止或购买某些东西(结论性评估).形成性和结论性评估(2)举例:“当厨师品尝汤的时候，这是形成性评估;当客人品尝时，就是结论性评估”问题:形成性研究与形成性评估之间的区别在哪里?过程和结果评估过程评估:评估一个项目是如何执行的结果评估:评估项目的结果问题:形成性－结论性与过程－结果评估之间有什么联系?评估分类评估能够满足过程和利益相关者的需求(Chen,2004)项目阶段项目计划开始实施实施的成熟阶段结果第三单元:利用评估来评价和改善项目计划项目计划与评估评估功能：提供相关信息和帮助以帮助利益相关者制定项目的计划和理论评估方法:需求评估形成性研究制定方法（DevelopmentFacilitation）需求评估需求的定义实际与需求状态之间的差异?人必须在一种有满足感的状态下生存需求与要求高危人群产生某种问题的几率较高的一组人群准备需求评估要研究的人群目标人群特殊定义举例:老年居民缺乏社会机遇社区中目前的资源需求评估的信息来源需求的社会指标统计数字，公共材料，普查社区调查面对面访谈提供深入的信息费用可能较高电话访谈提供一般的信息非常难于接触到高危人群信件调查可灵活地接触大量人群在长的及开放性的问题方面会受到限制应答率通常较低关键知情人对社区非常了解的人或社区的领导举例：卫生需求的关键知情人?访谈或小组访谈的方法作为一个好的倾听者的重要性，以及准备回答项目相关的问题潜在的问题过度估计个人日程小组访谈一个非正式的小组一起讨论需求小组人员的构成非常重要小组领导者不能与小组中的任何成员疏远气氛:轻松且自由自在小组访谈之前应当准备特殊的问题形成性研究有利于寻找原因（决定因素）及干预策略以及设计项目的一些相关背景信息帮助利益相关者发现重点关注的原因（决定因素）帮助利益相关者找到干预策略有利于缩小需求与要求之间的差距第四单元方法制定逻辑模型项目活动与希望达到效果之间联系的图解逻辑模型的构成成分结果产出活动投入逻辑模型的术语投入:执行项目所需要的资源资金，人员，合作，设备及物资供应活动:执行项目所需要开展的主要活动及方式招募及培训项目执行者，提供服务产出:项目活动的主要产品培训班数量，培训学员数量开展咨询的次数结果:由于项目而导致明显的变化知识、技能、态度、行为、健康状态的变化逻辑模型举例请参见所发的单页辅助材料逻辑模型投入活动产出最初结果中期结果长期结果项目原理达到预想的目标所必须开展的活动详述，还会产生什么样其他的重要影响，目标及影响是如何产生的项目基本原理(改变模式):它促使行动开始项目计划(行动模式）行动方案蓝图项目基本原理项目将减少或解决什么问题？什么样的目标人群将会受到项目关注？项目将达到什么样的可测量的目标？什么决定因素（问题的原因，平衡机制）促使变化的发生？什么样的干预活动可以影响这种决定因素？什么问题?什么目标人群?干预决定因素结果黑箱评估原理驱动型评估(行动及概念假设)改变模型举例大众传媒运动更健康的饮食更健康饮食更健康饮食饮食知识及意识大众传媒运动大众传媒运动减少心脏病饮食知识及意识针对吸毒者提供艾滋病自愿咨询与检测的项目组成成分需要减轻的问题?目标人群?最终结果:减少吸毒者中艾滋病病毒的传播近期结果减少共用针具实施安全性行为决定因素?干预艾滋病自愿咨询与检测项目计划实施机构:技术方面的特长，文化方面的能力，人力资源及其他资源?干预及服务提供的方案：由谁负责？项目执行者:招聘,培训,保持资格,及承诺同伴机构／社区的合作者:建立合作关系社会生态学背景:寻求其支持(微观水平上的支持及宏观水平上的支持)目标人群:发现,招聘，筛查及服务项目成功实施成功干预的完整性行动原理成功概念理论成功决定因素实施结果干预项目计划形成性评估过程评估过程与结果评估监督HueyT.Chen,Ph.D.第五单元过程评估一个评价项目是否按照最初设计思想实施的评估过程项目接触到预定的目标人群了吗？目标人群中的成员了解项目吗?形成性评估与过程评估形成性评估:利用灵活的研究方法来评价项目实施中的障碍和促进因素，帮助利益相关者去克服困难过程评估:评价实施的质量形成性评估举例:安全套可及性项目社区中的中学有安全套自动售套机(每个安全套2角5分钱).售套机安装在护士办公室，活动中心及走廊.形成性评估的目的是告诉你如何增加安全套的销售研究方法:开展了两个小组访谈.障碍:售套机的安装位置2角5分钱的费用安全套的包装辅导者:青少年健康中心是一个安全获得安全套的地方过程评估举例:孕妇吸烟复吸预防项目干预内容与一个吸烟的健康教育者进行10分钟咨询通过讨论和辅导提供并加强社会支持产前医务人员在门诊进一步强化(护士和医生)研究方法从参加人员中选择一部分代表，利用规范的调查工具进行访谈，以了解计划的内容与学员实际获得的内容的一致性。原理驱动过程评估(标准化评估)利用项目原理的概念性框架(特别是行动模式)来评估实施过程评估项目在干预、目标、及实施环境方面计划与实施之间的一致性。干预艾滋病自愿咨询检测实施实施者干预同伴机构生态学目标人群与服务背景机构提供方案过程监督阶段性收集实施过程中的信息举例有多少人接受了服务？谁接受了服务？向目标人群提供了什么样的服务？过程和结果监督过程监督结果监督资料收集由评估者收集利用现有的记录效果评估中的基本问题HueyT.Chen,Ph.D.第六单元内部有效性及外部有效性内部有效性:干预工作影响到结果了吗？外部有效性:哪些人群、场所和测量可以推广这些效果？Campbell:内部有效性是必须的选择-成熟交互作用:选择偏性会导致成熟率的不同试验设计随机试验:试验组和对照组是随机分配形成的准试验设计:试验组和对照组不是按照随机分配的原则形成的预试验设计:设计什么东西不会对内部有效性产生巨大影响预实验设计一组检测前后设计OXO对内部有效性的影响-1历史:在预试验和后验证之间发生的干预活动以外的事件。成熟:随着时间的推移在一个人或系统中所产生的变化，如成长，疲倦，社会趋势等。检验:一次检测后进行第二次检测得分变化的效果仪器精度:测量工具的精度发生变化或观察者的变化可能会导致观测结果的变化。对内部有效性的影响-2历史衰减:根据一个人或事物的极端特性进行选择后所产生的假性变化。选择:选择对照组时由于平均测量结果的不同所带来的偏差。损失:由于对照组在成熟度选择方面的影响而导致被观察个体在差异方面的丢失。选择偏性导致成熟率不同。选择成熟度的影响:选择偏性所造成的成熟率的变化。随机试验参加者随机被分配到对照组和试验组中利用随机原则建立可比性。问题:随机化不是随机抽样问题:附近试验:“忽视”的情况问题:如何测量试验中安慰剂所产生的影响。干预组ROXO对照组ROXO对随机试验的批评试验要求项目的连续性而不利于持续的改善。(管理者与评估者之间的冲突）由于操作性的原因，试验倾向于一次测量一个项目变量，而实际上项目的成功取决于多项服务结合在一起。一项实验试图控制太多的条件，从而使项目不受任何因素影响，但在实际中无法推广。试验不研究效果是如何或为什么会产生，也不能理解什么因素是项目成功的关键。开展试验最理想的时间当引进一个新的干预措施时当基准提高时当对项目效果出现争论时准实验设计HueyT.Chen,Ph.D.第七单元非对称性对照组的设计干预组OXO----------------对照组OO对内部有效性的影响?提高可比性的策略对照组匹配个体特征，家庭特征组织单位的特征，社区特征对照组的统计阻断型时间序列设计OOOOOOXOOOOOO对内部有效性的影响?评价预定的和意外的结果目标模型的局限性管状视野忽视意外的效果无目标评估(Scriven)评估者事先不了解项目目标相关的知识检查预定的和意外的结果检查实施的活动举例:对失职者的管教机构正式目标:恢复操作性目标:监管使用现有的原理和／或知识原理驱动型结果评估HueyT.Chen,Ph.D.第八单元实施机构实施者同伴机构／社区合作者干预及提供服务的方案生态学背景目标人群实施干预决定因素结果应用举例原理驱动型评估控烟项目干预:连环画目标人群:初中学生评估的设计:非对称性对照组设计结果的测量:吸烟相关的信念,态度,行为设计利益相关者项目原理反应问题的策略对吸烟的态度、信念及行为改变阅读连环画的次数有关连环画故事和特征的知识水平干预HueyT.Chen2004实用性项目评估:评估和改善项目的设计、实施及效果.ThousandOaks,CA:Sage