3项目评估的设计与分析

中国疾病预防控制中心项目评估的设计与统计方法于石成2015-11-05中国疾病预防控制中心讲授内容1.项目评估简介2.项目评估的随机对照设计3.项目评估的准实验设计中国疾病预防控制中心项目评估简介中国疾病预防控制中心社会项目或干预：有组织、有计划、持续不断地致力于解决社会问题或改善社会环境的努力。项目评估：运用科学的研究方法，在一定政治和组织环境条件下，系统地调查致力于改善社会环境的干预项目的绩效。包括对项目的目标、设计、实施、影响和绩效进行的评估。具体而言是指系统地收集可靠、有效的项目信息，通过分析比较，检验项目的理论，全面了解项目的因果关系和作用机理，对项目的价值进行科学全面地判断。一、项目和项目评估中国疾病预防控制中心任何一个干预项目或社会项目的发展、实施都是假设;是否产生了效果，需要进行项目监测评价。公共场所禁烟、公共卫生服务均等化、医疗卫生改革；慢性病管理、减盐控制高血压、应用信息化技术社区控制和预防糖尿病及并发症。经济影响、社会影响和环境影响评估。二、为什么要进行项目评估？中国疾病预防控制中心项目评估其实是一个信息汇集和解释的过程。在这个过程中，确定评估问题是重要的；筹划如何回答这些问题。评估的概念和方法框架：需求评估：回答项目运作所需的社会条件及项目服务需求程度的问题；项目理论评估：回答项目的概念化或设计等问题；过程评估：回答项目的操作、实施和服务送达等问题；影响评估：回答项目结果和影响等问题；效率评估：回答项目成本和成本-收益问题。三、评估问题和评估方法中国疾病预防控制中心1.需求评估：通常是设计和规划新项目的第一步，确定某个社会问题的存在、性质、重要性和分布状态；干预问题的必要性；现有环境对干预设计意义，实为社区诊断行为。2.项目理论评估：在项目的主要问题和干预需求确定后，项目的概念化和设计要反映目标问题的基本假设，并提出有根据的、可行的方法来解决问题。项目的描述一般用概念模型和逻辑模型，两种模型有所不同并相互补充。中国疾病预防控制中心•(1)概念模型概念模型更加综合地包括了哪些影响干预效果的因素，一般用箭头和框图呈现重要概念间的因果关系，框图表示干预措施、结果及影响，而箭头反映因果关系。中国疾病预防控制中心基于PRECEDE-PROCEED模型医疗行为改变的概念模型中国疾病预防控制中心底部横线部分展示了干预措施和策略、改变行为的因素、干预结果和项目影响逻辑过程。模型主体部分展示的是相关因素的作用机理，其中个人倾向因素（predisposingfactor）包括对临床路径管理的知识、技能、态度、信念、主观标准的影响等因素；激励与约束因素（reinforcingfactor）包括奖励或惩罚因素，社会支持和表扬等因素；可执行因素（enablingfactor）包括可利用的资源、设备和操作技能等因素。中国疾病预防控制中心投入活动结果•形成性评价：计划阶段(相关性、可行性评价)、实施过程（适宜性、进展评价）和产出的评价。•总结性评价：效果、效率、可持续性、影响评价。•影响评价产出ImpactImpact项目目标影响(2)项目的逻辑模型(programlogicmodel)中国疾病预防控制中心举例：高中学校“数学干预项目”的评价。投入：预算，高中数学教师，培训设施;活动：设计新课程，教师培训，开发、印刷和分发新教科书;产出：培训了1000数学教师，50000本教科书发给学生;结果：教师使用新教科书，用新课程(newcurriculum),学生遵循新课程，数学测验成绩提高;影响：高中完成率提高，高收入，高就业率。中国疾病预防控制中心3.过程评估评估项目实施的程度和结果，包括项目的过程、活动、项目资金使用和项目的操作情况。目的是为项目决策者提供信息，以帮助他们对项目进行完善。关注项目实施过程、运行环境和项目的作用机制，为项目的推广提供依据。中国疾病预防控制中心形成性formative总结性summativeRobertStakes:当厨师品尝汤的味道时，是形成性评价；当客人品尝汤的味道时，是总结性评价。中国疾病预防控制中心4.影响评估(impactevaluation)评价在一定社会环境中的项目产生了哪些预先设想的对环境的改善。如是否获得了预期的项目结果，项目的干预是否起到了作用，以及项目影响中是否包含了意想不到的结果。是对项目结果和价值进行判断，它关注项目的结果、影响和资源的使用，属于外部评价。重点关注项目的结果或产生的影响。中国疾病预防控制中心5.效率评估项目评估只有结果或影响的信息是不够的，项目的影响还必须和成本对比再作出判断。效率评估建立在过程评估和影响评估的基础上。问题：相对于付出的成本而言，项目是否产生了足够的效益？项目创造的收益是否比其他致力于相同目标的干预要低一些？中国疾病预防控制中心1.非控制选择指不在研究者控制之下的过程和事件，某些成员较其他成员更可能参与正在评估的项目。当接受项目的人和没有接受项目但是合格的人之间有预先存在的差异时，群体结果的差异就可能因此产生，而与干预无关。四、影响评估的外部干扰因素中国疾病预防控制中心2.内在变化项目所处环境中的普通或“自然”时间，不可避免地影响到研究结果。这种自然发生的效果称为内在变化。如大多数急性病人的康复，减少贫困的项目评估必须考虑某些家庭和个人在没有外援的情况下也会在经济上富裕起来。中国疾病预防控制中心长期趋势：相当长时间的趋势称为长期趋势，这种趋势可能引起总结果的变化，增加或掩盖项目的净效果。干扰事件：与长期趋势一样，短期事件可能产生一些变化，人为地增加或掩盖项目的净效果。成熟趋向：成熟和发育过程可能会引起很大的变化，从而掩盖项目效果或造成项目效果假象，这是对旨在引起对象群体某些变化的项目进行评估时必须处理的事实。如教育项目旨在提高儿童的语言能力，对其评估必须考虑随着年龄的增长，儿童语言能力的自然增加。中国疾病预防控制中心要排除的影响选择性偏倚测量偏倚混杂偏倚抽样误差影响评估的难点之一：排除或控制随机误差和偏倚的影响。五、影响评估的难点中国疾病预防控制中心影响评估的难点之二：Counterfactual影响：易感人群进行了疫苗接种，发病率为Y1；如果对同样的该人群不进行疫苗接种，发病率为Y1*；项目干预效果=Y1–Y1*。这一易感人群已经进行了疫苗接种干预，因此无法知道如果不干预的发病率（Y1*）。影响评价设计的关键是如何寻找counterfactual。中国疾病预防控制中心Y1(observedl)Y0t=0t=1time干预我们可以观察到干预前的效果指标，也可观察到在干预后该效果指标值提高。中国疾病预防控制中心如果不干预效果指标是多少？Counterfactual非常重要。Y1(observedl)Y1*(counterfactual)Y0t=0t=1time干预中国疾病预防控制中心当选择了适当的counterfactual后，就可以估计干预效果了。Y1Impact=Y1-Y1*Y1*Y0t=0t=1time中国疾病预防控制中心部分覆盖项目的设计：随机对照设计准实验设计非随机对照（配对对照、统计均衡对照、类属对照）回归中断设计回归点置换设计全面覆盖项目的设计：不统一的全面覆盖项目阶段实施设计前后比较设计简单的前后比较、重复测量设计时间序列分析、中断时间序列分析六、影响评估的设计类型中国疾病预防控制中心项目评估的随机对照设计中国疾病预防控制中心随访观察结局事件不发生结局事件发生结局事件不发生随机分组结局－结局+实验组（干预措施）对照组（对照措施）样本目标人群结局+结局－1.设计原理中国疾病预防控制中心前瞻前瞻性随访观察；干预施加一种或多种人为干预处理；随机研究对象随机分配到比较组；对照有平行的或可比的对照组。基本特点中国疾病预防控制中心现场试验和社区试验：均是以自然人群作为研究对象，在现场环境下进行的干预研究；但前者接受干预措施的基本单位是个人，后者接受干预措施的基本单位是整个社区，或某一人群的各个亚人群(学校的班级，工厂的车间或城市的街道)。目的：评估干预措施效果；危险因素或病因评估；评价卫生服务措施质量；评价公共卫生策略。中国疾病预防控制中心2.项目的净效果=干预组的总效果-可比对照组的总效果±设计效果和随机误差设计效果：设计效果来自研究本身，而且总是存在的并威胁到评估效果的有效性。估计和补偿设计效果比控制外部干扰因素容易。包括：随机效果、测量的信度、测量的效度、测量方法的选择、霍桑效应、信息缺失、样本设计效果。中国疾病预防控制中心误差：试验中的原始数据与真实值之差。误差的分类：非随机误差和随机误差。误差和偏倚中国疾病预防控制中心非随机误差非随机误差又可分为两种：非系统误差：在试验过程中研究者由于偶然的失误造成的误差，这种误差亦称为过失误差。系统误差：系统误差的值是恒定不变的，或者是按一定的规律变化。中国疾病预防控制中心随机误差概念：是无规律性、不恒定的随机性变化的误差，亦称偶然误差，不可避免可为正或负，无一定规律性。抽样误差就是其中的一种随机误差。有些随机误差可能被认识而加以控制。中国疾病预防控制中心3.可比性需要具备的条件：组成一致、趋向一致、经历过程一致。4.随机实验的逻辑净效果=【随机实验组的干预后结果测量值的分数】-【随机对照组的干预后结果测量值的分数】±设计效果和随机误差RCT：不道德、不可行、不实际、不合理！（unethical,infeasible,impractical,unjustified)中国疾病预防控制中心5.分析方法：t检验、方差分析、协方差分析、MLR、方差成分模型（多水平模型）；χ2检验、χ2值分割、logistic回归、多水平模型。Evaluation:ASystematicApproach,PeterH.Rossi,HowardE.Freeman,MarkW.Lipsey.邱泽奇等译.-统计分析是建立在严格的研究设计基础之上。中国疾病预防控制中心6.分析实例巴尔的摩生活试验（LIFE）的设置是为了评估给予刑满释放者少量财政资助是否有助于他们过渡到正常生活和减少他们被捕和重新入狱的可能性。由于大多数囚犯在监禁期不能积累工作存款，他们是不能获得失业保险金的。所以，项目仿照失业保险金设定财政资助。将从马里兰州监狱释放、返回巴尔的摩的人员随机安排到实验组或对照组。告诉实验组，只要他们失业了就够资格领取13周、每周60美元的报酬。同时，告诉对照组，他们正在参加一项研究项目，但不给报酬。研究者定期来采访这些参与者，并且对巴尔的摩政策部的拘留记录进行为期一年的监控（这个时间超过了每个人员的释放期）。释放后一年内的拘留记录结果见表1。随机实验分析：巴尔的摩生活项目中国疾病预防控制中心差异只是由于干预和随机误差引起的。-8.4%或者更大的差异因机会在同样大小的样本100次实验中发生的次数小于5次（P0.05)，统计结论：对盗窃而言，这一差异足够大，可以认为干预获得了期望的效果。问题：在政策意义上，这些差异是否足够大？即采用生活干预作为社会项目（政策）是否值得？表1：释放后第一年的拘留率实验组对照组拘留指控（n=216)（n=216)差异盗窃（如，抢掠、入室行窃、盗窃）22.2%30.6%-8.4其他严重犯罪（如，谋杀、强奸、袭击）19.4%16.2%+3.2轻罪（如，破坏治安、公开酗酒）7.9%10.2%-2.3中国疾病预防控制中心表2：因盗窃罪拘留的多元回归分析自变量回归系数回归系数的标准误实验组成员-0.083*0.041释放时的失业率0.041*0.022释放后当季度工作的周数-0.0060.005释放时的年龄0.009*0.004第一次拘留的年龄0.010*0.006以前的盗窃拘留0.028*0.008种族0.0560.064教育-0.0250.022以前的工作经验-0.0090.008婚姻0.0740.065假释-0.0250.051截距0.2630.185R2=0.094N=432*P≤0.05中国疾病预防控制中心项目评估的准实验设