15.北大版《公共管理研究方法》公共管理评估研究

第十五章公共管理评估研究第十五章公共管理评估研究第一节公共管理评估研究概述第二节评估研究的范式、途径和模型第三节公共管理评估研究的基本框架和基本问题第四节公共管理评估研究的基本议题和例文解析第一节公共管理评估研究概述一、评估研究和公共管理评估的概念二、评估研究的类型三、评估研究兴起的历史背景一、评估研究和公共管理评估的概念1．评估研究的定义。评估研究实际上是“评估”和“研究”两种社会行为的结合。评估是评估主体依据一定的价值标准和事实标准对评估对象的事实、行为、态度、价值等方面进行的测量、评价和判定。2．评估三要素。评估至少包括三个要素，即标准（criteria）、证据(evidence)和判断(judgment)。3．评估研究的特点。应用性综合性多样性4．评估研究的作用。第一，描述和解释。第二，必要性、合理性和可行性论证。第三，监测。服从审计会计解释第四，公信、问责和资源分配。第五，改良和发展。二、评估研究的类型1．评估主体的视角。从评估主体的角度来看，评估研究可以分为自我评估和异体评估。自我评估是组织或者个体对自身进行的测量和评价。异体评估则是与组织相关的组织和个人对组织进行的评估。2．评估时间段的视角。前置（Front-EndEvaluation）评估，需求评估、风险评估、可行性评估等等都属于前置评估的范畴。形成评估(formativeevaluation)，实施评估、过程评估(processevaluation)、监测评估(monitoringandevaluation)。总结评估(summativeevaluation)，总结评估与结果评估(outcomeevaluation)、绩效评估(performanceevaluation)、效率评估、成本收益测量是接近的概念。影响评估（impactevaluation），指在社会干预结束一段时间之后，再来评估原先方案设定的结果或长期的影响程度。形成性评估总结性评估关心对象方案管理者、实务工作者决策者、赞助者、社会大众资料搜集重点厘清目标、执行过程测量结果、确认结果评估者角色互动独立方法论质量并重、重视质化重视量化数据搜集频率持续追踪有限的次数报告过程非正式讨论正式报告报告频率整个过程评估完成人们一般使用评估的逻辑模型来描述评估的时间段和过程。评估的逻辑模型（LogicModel）使用直观的流程图的方式，展示社会干预投入、产出、效果和环境等因素之间的因果关系。3．评估资料的性质。评估研究作为研究的一种特例子，也存在质性评估、定量评估和定性定量综合评估的区别。5.根据评估问题的类型。需求评估、项目理论评估、项目过程评估、影响评估和效率评估。6．评估内容的视角。评估内容是对一系列相似或相近的评估问题的归类概括。从评估内容的视角对评估进行分类，不同内容的评估之间可能会有交叉和重叠，此处仅仅介绍一些常见的评估。表18-7：系统视角下公共管理评估公共管理系统过程过程评估环境与资源输入转换设施和机制输出反馈基本要素一般环境、外部操作环境、内部环境、资源耗费的人、财、物等技术管理制度产出（产品、服务、规范等）满意、信任环境评估、资源评估诉求评估、投入评估、成本评估管理能力评估、项目评估流程评估质量评估、效果评估满意度评估、公信力评估评估议题和领域政策评估、公共部门绩效评估、政府能力评估、治理评估、发展评估等等评估时段前置评估形成评估过程评估效果评估总结评估资源resource投入Input成本Cost结构Structure流程Process技术technology产出output满意公信力Accountability经济（economy）效率(efficiency)公共管理评估评估指标效益(effectiveness)7．评估活动的规范性。按照评估活动程序和内容的规范程度，可将评估分为正式评估和非正式评估。三、评估研究兴起的历史背景1.评估研究兴起的历史背景。（1）人类社会的进步。（2）应用社会科学的发展。（3）大政府时代的到来。2.评估研究的繁荣。1965年“政策分析和评估研究”变成了研究领域的一个独立分支，20世纪70年代评估研究已经成为社会科学界的一个重要学术领域。3.评估研究的国际化。第二节评估研究的范式、途径和模型评估研究的范式是评估研究的哲学基础、理论假定和操作规则。评估范式的差异源自评估研究所依据的哲学基础的差异。研究问题的复杂性和多样性决定了评估研究范式、途径和模型的多样性。评估模式则是评估要素、评估过程、评估方法等因素形成的相对稳固的逻辑关系。评估模式假评估准评估改进和问责社会议程折中公关授意研究政治操纵研究逢迎评估文饰评估评估伪装下的授权以目标为基础的评估支付报偿研究(Accountability,ParticularlyPayment-by-ResultsStudies)成功案例方法目标测试方案作为价值附加的产出评估绩效测验实验研究管理信息系统成本收益分析听证（ClarificationHearing）案例研究评估批判和鉴赏评估以理论为基础的评估方案混合方法研究决策和问责导向的评估消费者导向的评估证明合格评估回应性评估或委托人导向的评估建构主义评估审议评估效用焦点评估评估范式的演变实证主义评估诠释主义评估整合评估20世纪80年代兴起20世纪80年代时间和代际20世纪20年代到80年代包括第一代和第三代评估第四代评估主要理论取向或理论模型测量取向描述取向判断取向目标中立评估回应性建构主义评估参与评估以理论为基础的评估实际的审慎思辩核心问题如何客观、精确地测量评估对象？找出预期目标和结果的差距。方案从制定、执行到终结的利益相关者的参与如何重新建构评估的价值标准？政策的理论基础和政策过程的因果机制？评估的经验基础和规范基础如何整合？评估者价值客观中立深度参与，诠释建构实践性的批判者评估者角色测量者、实验者、描述者、判断者参与者对话者评估焦点和内容测量数据、因果关系、决策过程、结果多元价值及其整合事实、价值和批判评估获得事实的性质科学主义的客观事实建构的社会价值事实和价值的互动一、实证主义评估范式实证主义评估范式兴盛于20世纪20年代，该范式坚持评估主体和评估客体的二分，评估研究者在评估过程中保持价值中立，通过科学主义的手段收集信息，形成对评估对象客观状态的认识。该范式主要包括测量取向的评估描述取向的评估判断取向的评估二、诠释主义评估范式诠释主义评估范式又称作建构主义评估范式，该范式扎根于人类学（anthropological）传统，通过与评估对象的深度观察和深度访谈，形成对评估对象的全面深入理解。该范式更多地依靠质性数据和资料，对社会规划从许多不同的视角加以理解。诠释主义评估范式有助于我们深入地理解环境因素和规划的复杂性，有助于我们进行规划改进和项目管理方面的决策。目标中立评估回应性建构主义评估参与式评估三、整合评估范式整合性评估范式尝试将实证主义和诠释主义的观点结合起来，试图融合评估中的事实因素和价值因素。有代表性的整合评估范式包括效用焦点评估理论取向的评估实践审议评估第三节公共管理评估研究的基本框架和基本问题一、评估研究的流程二、评估研究的方法光谱三、评估研究的问题类型和研究设计一、评估研究的流程第一步，发现和选择评估的机会。第二步，建立评估的组织网络。第三步，确定评估动机。第四步，确定评估问题。第五步，进行评估设计。第六步，评估资料的收集和分析。第七步，沟通评估的发现。第八步，进行元评估。第一步，发现和选择评估的机会评估机会往往产生于以下情境：（1）困境。个人、组织和项目处于困境，预定的目标无法达成或者没有按照预定的计划达成的时候。（2）监控。当需要了解项目和规划执行过程的详细信息，以便监控项目和规划过程的时候。（3）变革。当项目和组织需要变革的时候，亦是需要评估的时候。（4）竞争。当需要比较组织和项目的优劣的时候。（5）创新。当需要引入新利力量和社会干预改变现状的时候。（6）民主。当利益相关者需要了解社会干预的相关信息的时候。第二步，建立评估的组织网络。评估的领导者（Facilitators）发起、领导、促进和监督评估的顺利开展。评估领导者的评估前期准备工作包括确定参加评估的人员确定评估活动的目的和目标确定评估活动日程第三步，确定评估动机。（1）项目改进。前置评估、形成评估、总结评估和影响评估都可以发挥项目优化和改进的作用。（2）责任承担。为项目的问责和资源的再分配提供了科学合理的依据。（3）知识再生产。为科学知识的增长提供了基础。（4）隐秘目的。第四步，确定评估问题。1.评估问题的特征。首先，评估问题必须是合适的。其次，评估问题必须是能够回答的。最后，评估问题与评估标准结合。项目发展阶段问题评估功能1.确定社会问题和需求评估在多大程度上满足社区需求和标准需求评估、问题描述2.确定目标怎样才能满足那些需求和标准？需求评估、服务需求3.项目备选方案用什么样的服务来产生预期的变化？项目逻辑或理论4.方案选择什么样的方案可能是最好的方案？可行性研究、形成性评估5.项目实施如何实施项目？实施评估6.项目运作项目是否按计划运作？过程评估、项目督导7.项目产出项目是否获得预期结果？产出评估8.项目效率项目的结果与成本比较是否合理？成本收益分析，成本绩效分析第五步，进行评估设计。利益相关人需求和价值评估目标评估内容焦点和问题评估范式（实证主义、诠释主义等）评估途径和模式评估方法（收集资料和分析资料的具体方法）评估指标样本和抽样数据分析报告撰写反馈第六步，评估资料的收集和分析。历史文献、档案、数据库、资料库、访谈、观察和问卷调查等等都是获取评估资料的常用方式。社会指标、政策实验、调查研究、交叉影响分析、目标达成矩阵等是常用的定量评估方法。深度访谈法、焦点团体法、参与观察法、人种志研究和非介入性测量是常用的质性评估资料收集和分析方法。第七步，沟通评估的发现。完成正式的评估报告，需要和利益相关者、媒体、潜在的使用者进行沟通，建立信任和效果。促进评估报告的使用，扩大评估报告的影响力。帮助评估使用者运用评估，以便为项目改进服务。第八步，进行元评估元评估（Metaevaluation）即对评估本身进行评估。20世纪以来，随着评估学发展成为社会科学研究的重要领域，元评估（Meta-evaluation）研究亦逐渐成为推进评估学发展的重要途径。元评估的目的在于改进评估工作本身的理论与实务，主要完成以下工作：评估评估工作的品质、影响及利用；探讨评估过程的性质；纠正可能发生评估的误用；提供并确保评估的绩效责任；说明及控制评估实施时的偏差；评估新的评估取向的实用性。二、评估研究的方法光谱方法论的严谨性递增随机控制研究非随机实验、同期控制非随机实验、历史控制同期群调查案例控制研究时间序列横断面研究框架研究，非正式对比组尽可能用“最好的实践组”与其他组对比尽可能找出定性的差异，或者对利益相关者的态度的特征做出描述更多离散的对比组预期的研究或回顾的研究2个或更多匹配的对照组或自身控制更大、更适合和更多样化的对照组更强的控制减少偏见预期的研究控制的潜在的干扰变量通过随机化等手段减少偏见发展较好的绩效指标评估类型研究要素三、评估研究的问题类型和研究设计（一）需求评估的研究设计（二）项目理论评估（三）过程评估（四）影响评估（五）效率评估（一）需求评估的研究设计第一步，界定需求评估的问题。当某事件、行为、现象的利益相关人的主观期望与现状产生差距的时候，就形成了需求评估的问题。第二步，认定社会问题的范围与严重程度。第三步，定义及界定政策方案所要服务的标的团体。问题定义的不同，标的团体的范围也会有差异。第四步，描述需求。许多标的人口对于服务的需求必须经过详细且实地的探索，描述需求的常用方法包括焦点团体法、专家估计法、访谈法等方法。（二）项目理论评估第一步，阐述项目理论。即建构一套