23章综合评价方法2009-4-28.

常用综合评价方法第二十三章授课老师：曾小敏公共卫生学院卫生统计学教研室讲解大纲1.综合评价的基本概念2.综合评价的一般步骤3.评价指标的筛选与权重估计4.层次分析法(analytichierarchyprocess,AHP)5.Topsis法6.秩和比法（RankSumRatio,RSR)例如，某人英语考试成绩58分是否对照某标准判断此结果是否评价（evaluation)仅是描述，反映现状1.基本概念Syntheticalevaluation综合评价Definition:利用多项指标对某个评价对象的某种属性进行定性、定量评估，或者对多个评价对象的属性进行定性、定量评估，可对优劣顺序排序。Application:对比，择优Purpose:支持决策（基础、预防、临床、管理中广泛应用）2.1综合评价的一般步骤对某事件进行多因素综合评价的过程，实质上就是科学研究与决策的过程，原则上应包括设计、收集资料和分析资料几个基本阶段，实施中应着重注意以下几个基本环节。①选择恰当的评价指标(evaluationindicator)②确定各评价指标权重③合理确定各单个指标的评价等级(evaluationgrade)及其界限④建立综合评价模型(syntheticalevaluationmodel)⑤确定多指标综合评价的等级数量界限，并根据实践对已建立模型考察、修改及完善。研究目的2.1例：学生综合测评（综合评分）评价指标：德育总分、智育总分、体育总分（加分：CET）权重：方案1：德育0.3智育0.6体育0.1方案2：德育0.1智育0.8体育0.1方案3：德育0.3智育0.6体育0.1加分评价模型：评分法、总分为100，加分不封顶，累加法。评价结果:学生甲：德育90智育70体育80学生乙：德育70智育80体育70指标德育总分智育总分体育总分加分综合评价总得分权重0.30.60.1方案1甲学生9070800.3×90＋0.6×70＋0.1×80＝77乙学生7080700.3×70＋0.6×80＋0.1×70＝76指标德育总分智育总分体育总分加分综合评价总得分权重0.10.80.1方案2甲学生9070800.1×90＋0.8×70＋0.1×80＝73乙学生7080700.1×70＋0.8×80＋0.1×70＝78指标德育总分智育总分体育总分加分综合评价总得分权重0.30.60.1CET方案3甲学生90708000.3×90＋0.6×70＋0.1×80＝77乙学生70807020.3×70＋0.6×80＋0.1×70＋2＝782.2综合评价一般步骤示例研制新生儿缺氧状况的Apgar评分方法研究目的据专业知识，选择5个指标①心率②呼吸③肌张力④反射⑤皮肤颜色5个指标具有相等权重选择指标确定权重以累加法累计总分：8～10分为正常；4～7分为轻度缺氧；0～3分为重度缺氧。确定指标评价等级及界限建立模型3.1评价指标的基本要求基本要求①代表性：各层次指标能最好地表达所代表的层次。②确定性：指指标值确定，其高低在评价中有确切含义。③区别能力/灵敏性：即指标值有一定的波动范围，而且其高低在评价中有确切的含义。④独立性：即选入的指标各有所用，相互不能替代。选择综合评价指标3.2系统分析法及文献资料分析优选法筛选指标缺乏有关历史资料，或指标难以数量化时系统分析法(systematicanalysismethod)：是一种常用的凭经验挑选指标的方法，首先将所有备选指标按系统（或属性、类别）划分，再通过座谈或填调查表的方法获得对各指标的专家评分，确定主次，再从各系统内挑选主要的指标作为评价指标。文献资料分析优选法：即全面查阅有关评价指标设置的文献资料，分析各指标的优缺点并加以取舍。3.3常用客观筛选指标方法逐个指标进行假设检验的方法：是在掌握有关历史资料基础上，依照可能的评价结果将评价对象分组，并对各指标进行假设检验，挑选有统计意义的指标作为评价指标。多元回归与逐步回归法：多元回归分析挑选标准化偏回归系数绝对值较大或偏回归系数假设检验有显著性的指标作为评价指标；逐步回归有自动挑选主要影响指标的功能，是目前最常用的指标挑选方法。指标聚类法：在存在众多指标的情况下，可将相似指标聚成类，再从每类中找一个典型指标作为代表，从而用少量几个典型指标作为评价指标来代表原来众多的指标建立评价模型。3.4指标筛选建议在实际工作中，往往综合使用多种方法进行指标筛选，在获得较为满意的专业解释的基础上，优先考虑那些被多种方法同时选入的指标。3.5评价指标的权重估计确定指标权重方法主观定权法客观定权法专家评分法成对比较法Saaty权重法秩和比法相关系数法其它方法模糊定权法熵权法定权带有一定的主观性，用不同方法确定的权重分配，可能不尽一致，这将导致权重分配的不确定性，最终可能导致评价结果的不确定性。因而在实际工作中，不论用哪种方法确定权重分配，都应当依赖于较为合理的专业解释。3.6专家评分法评分方式1）专家个人判断即分别征求专家个人意见，在专家各自单独给评价指标的相对重要性打分的基础上，进行统计处理，以确定各指标的权重。优点：专家打分时不受外界影响，没有心理压力，可以最大限度地发挥个人创造能力。缺点：仅凭个人判断，易受专家知识深度与广度的影响，难免带有片面性。2）专家会议即召开所有被挑选专家，以集体讨论的方式进行评分，然后再以统计手段确定各指标的权重。优点：可以交换意见，相互启发，弥补个人之不足。缺点：主要表现在易受心理因素的影响，如屈从于权威和大多数人的意见，受劝说性意见的影响，不愿公开修正已发表的意见等等。6个专家对4个评价指标的评价结果得分75.056.733.318.35040301090802030607030108060503070404020100503010指标A指标B指标C指标D平均分654321评价对象75.056.733.318.35040301090802030607030108060503070404020100503010指标A指标B指标C指标D平均分654321评价对象不考虑专家权威程度：权重分别是0.41,0.31,0.18,0.103.7专家评分法可靠性评估常用指标在实际工作中，常用专家的擅长系数和专家意见一致性系数等指标来估计专家评分方法所定权重分配的相对合理性。1)．擅长系数：某一评估专家的水平可用对擅长领域中所提问题作出正确应答的概率，即所谓“擅长系数”。计算公式为：其中，q为擅长系数,p为错答率。理想的“绝对正确”评估专家，p=0,q=1。通常在选择评估专家时,其擅长系数q不应低于0.80。12qp6个专家对4个评价指标的评价结果的一致性系数计算表23104303104304204104指标D评分秩（R4）18.534332.53秩（R3）302030504030指标C评分11.522122.52秩（R2）408070604050指标B评分7112111秩（R1）5090608070100指标A评分秩和Ti654321评价对象23104303104304204104指标D评分秩（R4）18.534332.53秩（R3）302030504030指标C评分11.522122.52秩（R2）408070604050指标B评分7112111秩（R1）5090608070100指标A评分秩和Ti654321评价对象2）专家意见一致性系数:设参与权重评估的专家数为m，待评价指标数为n，则反映m个专家对全部n个指标权重评估的一致程度的指标称为一致性系数，以w表示,其计算公式为：22/()Maxiiwdd22()iidTT2231()()12iMaxdmnn223312()()cikkwdmnnmtt一致性系数在0～1之间取值，越接近于1，表示所有专家对全部评价指标评分的协调程度越好。当然，一致性系数越大越好，这说明各评价因子的权重估计较为稳定可靠。当有相同秩时，要对w进行校正：式中3.7常用的客观定权方法某些统计方法分析结果，可提供有关因素权重分配的客观信息:1)多元回归分析及逐步回归分析中，各自变量的标准化偏回归系数值以及由此而推算的贡献率；2)计数资料判别分析中的指数，计量资料判别分析中各因子的贡献率；3)主成分分析中得到的因子载荷和贡献率。某些特定的统计方法例如去某死因后期望寿命的增量、减寿年数(PotentialYearsofLifeLost,PYLL)都可为各死因的相对重要性提供有关权重分配的信息献率。3.8组合权重及其计算方法组合权重(combinedweight)当评价指标可分层时，即某项或某几项评价指标可再分为次级评价指标时，则次级评价指标的权重既应考虑其本身在所有次级评价指标中的权重分配，又要考虑其高层评价指标在所有评价指标中的权重分配。组合权重有两种求法：1)代数和法2)乘积法组合权重计算表0.282--0.336--0.382--1.00合计0.0400.40.0500.50.0100.10.10造型0.0720.60.0240.20.0240.20.12安全性0.0840.30.1120.40.0840.30.28经济性0.0320.10.0960.30.1920.60.32图像0.0540.30.0540.30.0720.40.18声音(8)(7)(6)(5)(4)(3)q.s3权重s1q.s2权重s1q.s1权重s1(2)(1)驱动系统控制系统声像系统权重q评价指标0.282--0.336--0.382--1.00合计0.0400.40.0500.50.0100.10.10造型0.0720.60.0240.20.0240.20.12安全性0.0840.30.1120.40.0840.30.28经济性0.0320.10.0960.30.1920.60.32图像0.0540.30.0540.30.0720.40.18声音(8)(7)(6)(5)(4)(3)q.s3权重s1q.s2权重s1q.s1权重s1(2)(1)驱动系统控制系统声像系统权重q评价指标3.9权重估计注意事项权重估计仍不是很完美，权重估计结果应满足专业解释；尽量在专业领域中寻找专业评分方法；尽量排除试验者和受试者的主观性，尽量选用客观方法；采用多种方法进行权重，在获得较为满意的专业解释的基础上，优先考虑多个方法同时选入的指标。几种常用综合评价方法1.现有的统计方法：主要为多元统计方法，如多元回归、逐步回归分析、判别分析、因子分析、时间序列分析等。2.模糊多元分析方法：由模糊数学发展而来，包括模糊聚类、模糊判别、模糊综合评价等方法。3．简易方法：主要包括综合评分法、综合指数法、层次分析法、Topsis法、秩和比法等。特点：①简单实用；②适用于各种资料；③存在一定的局限性。4.1层次分析法概念层次分析法(AnalyticHierarchyProcess,简称AHP)：由美国科学家T.L.Saaty于20世纪70年代提出,是用系统分析的方法，对评价对象依评价目的所确定的总评价目标进行连续性分解,得到各级（各层）评价目标，并以最下层指标作为衡量目标达到程度的评价指标。然后依据这些指标计算出一综合评分指数对评价对象的总评价目标进行评价，依其大小来确定评价对象的优劣等级。4.2层次分析法示例例4：拟采用层次分析法建立一个评价综合医院工作质量的综合指标，并采用该指标对某市6所综合医院的工作质量进行综合评价。医院工作质量综合评价的基本步骤：1）对总评价目标进行连续性分解以得到不同层次的评价目标，将各层评价目标用图有机地标示出来，即建立目标树图，见图1。4.3建立目标图4.4计算权重系数2)对目标树自上而下分层次一一对比打分，建立成对比较判断优选矩阵。各层评分标准见表3,表4为第一层子目标成对比较判断优选矩阵。表3目标树图各层次评分标准对比打分相对重要程度说明1同等重要两者对目标的贡献相同3略为重要根据经验一个比另一个评价稍有利5基本重要根据经验一个比另一个评价更为有利7确实重要一个比另一个评价更有利，且在实践中