系统工程--系统评价方法

第六章系统评价方法•教学要求：掌握系统评价的概念，了解系统评价的重要性和复杂性；熟悉系统评价的原则和步骤；掌握构建评价指标体系的步骤，熟悉构建评价指标体系的关键点。•掌握排队打分法等五种评价指标量化方法和加权平均法、乘法规则、功效系数法等评价指标综合方法，并能在评价中灵活运用这些方法。•熟悉可能满意度的定义；掌握可能满意度方法中多维价值的并合原则和量化方法，并能熟练运用；熟悉层次分析法基本原理和工作步骤；通过课堂案例讲解使学生掌握这两种方法。第六章系统评价方法•6.1系统评价的基本概念•6.2评价指标体系的建立•6.3评价指标数量化方法•6.4评价指标综合的主要方法•6.5可能满意度方法及案例分析•6.6层次分析法及案例分析6.1系统评价的基本概念•6.1.1、系统评价的定义•6.1.2、系统评价的特性•6.1.3、系统评价的基本要素•6.1.4、系统评价的步骤6.1.1、系统评价的定义•系统评价是人们对系统（客体）做出价值判断的过程。就是说系统评价是人们依据确定的目的来测量事物（系统）的有关属性，并将这些属性转化为主观效用，从而综合成系统的主观效用（价值）的过程。•系统评价首要的问题是确定评价的目的，目的不同，同一对象的评价内容不同，评价的方法也不同；其次要分解出系统的属性，一般来讲系统有物理属性和社会属性；第三是测定不同系统属性的主观效用；第四要根据系统属性的相互关系综合出系统的总效用（价值）。6.1.1、系统评价的定义•系统的客观效用是指处在一定状态下的系统功能行为满足外部环境客观要求的程度，它既是系统状态的函数，又是外部环境的函数。即F=ｆ(X.E)它是客观存在的，但测量是十分困难的。•系统的主观效用指从某些特定的目的来衡量处于某一特定状态系统，满足外部环境中某个特定的个人或人群的主观欲望的程度。如某个项目主观效用的大小，取决于特定的目的，和不同的人和人群的主观欲望。6.1.1、系统评价的定义•主观效用与客观效用的差异：•1、系统的客观效用是客观存在的，而主观效用是特定人或人群对系统客观效用存在的主观反映，不同的人群的主观效用是不同的。•2、系统的客观效用是对系统外部环境的全部目的，而主观效用是某些人们特定的目的而言的。目的不同，同一人群的主观效用也不同。6.1.2、系统评价的特性•评价结果的近似性。•原因：由于事物客观效用是客观存在的，而评价得到的结果是评价者的主观效用；其次参加系统评价工作者只是社会的某一部分，由于认识的局限性，他们的主观欲望与整个社会的要求之间不可避免地存在差异。用评价者主观欲望来代替客观效用、用少部分人的主观欲望来代替整个社会的要求必然是一种近似。6.1.2、系统评价的特性•评价结果的近似性。•解决问题的方法：为了提高系统评价结果的精确性，降低其近似性，在系统评价的工作中可采用增加评价者的数量和和提高评价者的素质的方法。即有足够的数量专家参加评价工作，以反映社会代表性，一般应超过30人；其次，要求参加系统评价的专家要客观、公正，且具有渊博的知识，对被评价系统有较深的了解。6.1.2、系统评价的特性•评价结果的模糊性。•原因：由于被评价的系统都是比较复杂的，存在多属性、多变量，而评价时为了实用、可行，往往只能用有限个属性来表示事物的功能，用有限个变量来表示事物的属性，这抓住了事物的本质的主要方面而不是全部；其次由于系统的复杂性，许多属性难以用一个或几个变量来描述，在评价时，不得不借助专家的定性描述和评价。因此得到的评价结果具有一定的模糊性。6.1.2、系统评价的特性•评价结果的模糊性。•解决问题的方法：在实用可行的基础上，评价指标条目尽可能包含系统的各种属性以反映系统的本质，为此在进行系统评价工作时，要做深入的调查研究、熟悉被研究对象，细化评价指标条目，使评价条目除反映被评价对象的各种属性外还能进行定量分析。其次，对某一指标条目不得不采用打分方法评价时，一定要邀请内行专家，且条目要分得细一点，即有针对性6.1.2、系统评价的特性•评价结果的相对性。•原因：由于最终的评价值是将各个属性加以综合得到的，而综合过程是将各个属性按一定的权重及并合原则得到的。采用的并合原则和权重的计算方法是评价者（集团）决定的。其次社会观念不断变迁，今天科学的权重明天会变得不合理。所以，评价值只能是事物（系统）的社会效用这个绝对真理的相对值。6.1.2、系统评价的特性•评价结果的相对性。•解决问题的方法：要求参与评价人员（尤其是模型建立者）对指标体系有一个好的理解，选用的并合原则要尽可能符合系统属性的物理概念，其次随着时间的变化，应重新对所评价的问题进行评价，因为系统本身的发展和人们价值观念的变化都将影响评价的结果。6.1.3、系统评价的基本要素•1、评价目标。即评价的目的、意向、预期的目标，这是系统评价最主要的要素，评价工作一般有选优、控制管理或引导等目标。•2、评价对象。可以是事物、方案、工作过程和个人等，熟悉评价对象至关重要，它是评价系统的基础要素。•3、评价指标体系。即衡量事物的标准尺，它由评价指标条目、标准、权重组成，评价指标体系的建立是评价工作的关键，它是评价系统的关键因素。6.1.3、系统评价的基本要素•4、评价的数学模型。即能将测定的被评价对象有关属性的效用，综合成系统主观效用的数学表达式，合理的选择和创造不同的数学表达式是必要的，它是系统评价的必要要素。•5、评价的组织者与专家群体。评价效果的好坏与评价的组织者、专家群体密切相关，他们对评价理论和评价方法掌握的程度、与评价工作所花费的时间、精力的多少决定了评价效果。6.1.4、系统评价的步骤•系统评价过程中主要回答两个问题，系统存在什么属性？系统的价值如何？•因此需要明确问题，为什么要进行评价，其次熟悉对象和邀请专家，在明确目标和熟悉对象（属性）的基础上，设计指标体系，然后测定对象属性和建立评价模型，仿真计算各对象的综合效用（确定系统的价值），综合分析提交决策。明确目标熟悉评价对象设计评价指标体系挑选专家测定对象属性建立评价数学模型综合主观效用选优提交决策6.1.4、系统评价的步骤6.1.4、系统评价的步骤•明确目标——即明确评价的目的，是选优，即从众多的方案选择一个好方案？还是为了更好地控制、管理一个给定的系统？因此，评价人员要与决策者沟通，了解评价的意图和目的。•熟悉评价对象——深入了解被评价对象，搜集被评价对象的有关情报资料，搞清系统构成要素及其相互关系，熟悉系统的行为、功能、特点以及有关属性，并分析这些属性的重要程度。其次要了解人们对系统的期望，了解人们的价值观念，即了解系统的环境。6.1.4、系统评价的步骤•挑选专家——在保证一定数量的基础上，注意专家的合理构成，又要注意专家的素质，挑选那些真正熟悉对象的内行专家，切忌只图专家的名望。通常做法是根据被评价对象所涉及领域的重要程度，先分配各领域专家的名额，后挑选该领域专家。•设计评价指标体系——在熟悉评价对象及评价目标的基础上，建立评价指标体系。这一过程是一个不断深入、螺旋式推进的过程，即随着目标明确程度和对象熟悉程度的深入，不断的扩展、提炼草拟的评价指标体系，并通过咨询最终确定指标体系。6.1.4、系统评价的步骤•测定对象属性——评价对象存在不同属性，不同属性的测定方法不一样，但系统评价所涉及的每一属性都需测定。一般来讲有三种测定方法，即直接测定、间接测定和分级定量方法。•建立评价数学模型。评价数学模型的功能是将系统各属性的功能综合成被评价系统的总的功能。建模者要根据专家对评价指标体系的意见，选择和创造合适的数学表示方法，要了解不同数学表示方法的物理含义，勿随意选择和创造表示方法6.1.4、系统评价的步骤•综合主观效用。所有的评价都是多方案、多过程的比较，因此需要对不同的方案、过程等进行计算机仿真计算，以计算出方案、过程的总的效用。其次任何方案、过程都存在不确定因素，以及专家对不同属性重要程度认识的差异，所以要进行方案、过程的灵敏度分析，以反映不同方案、过程在不同情形下的主观效用值。•选优提交决策。由于评价指标体系和评价模型中的不可能包含系统所有东西，其次系统环境变化、决策者的生存环境和心态的变化，导致最优方案在实施过程中遇到困难，所以应对评价对象的结果进行综合考虑，以便提供正确的决策依据。提交的报告除提供最优方案外，还应提出相应的实施条件6.2评价指标体系的建立•6.2.1、评价指标体系的组成•6.2.2、指标体系建立需解决的几个问题•6.2.3、设计评价指标体系的思路•6.2.4、建立评价指标体系的原则•6.2.5、建立评价指标体系的程序6.2.1、评价指标体系的组成•1、政策性指标。包括政府的方针、政策、法令，以及法律约束和发展规划等要求。•2、技术性指标。包括产品的性能、寿命、可靠性、安全性等，工程项目的地质条件、设备、设施、等指标要求。•3、经济性指标。包括方案成本利润和税金、投资额、流动资金占用量、回收期、建设周期，以及间接收益等。6.2.1、评价指标体系的组成•4、社会性指标。包括社会福利、社会节约、综合发展、就业机会、污染、生态环境等。•5、资源性指标。如工程项目中的物资、人力、能源、水源、土地条件等。•6、时间性指标。如工程进度、时间节约、试制周期等。6.2.2、指标体系建立需解决的几个问题•大类指标和分类指标数量问题。指标数量越多，指标覆盖的范围越宽，则方案之间的差异表现就越明显，越有利于方案的判断和评价，但确定大类指标和分指标重要程度也就越困难，因而歪曲方案本质特性的可能性也越大。大类指标和分类指标越多，在研究、分析决策所花费的时间、费用越多，但方案评价的效果越好。这个矛盾体如何处理取决于决策者对方案精度、费用、时间的综合考虑，在实际工作中，系统工程工作者强调在达到评价精度要求的前提下，指标体系尽可能的简单易行。6.2.2、指标体系建立需解决的几个问题•评价指标之间的相互独立问题。原则上要求指标之间应相互独立，互不重复。例如企业费用和投资费用，折旧费用和成本，在使用中的交叉处必须明确加以划分和规定。对于某些有因果关系的指标，理论上取某一方面指标。或者在设计模型时考虑指标存在相关的问题，采用某些算法剔除相关关系。6.2.2、指标体系建立需解决的几个问题•评价指标体系的确定问题。评价指标体系的建立要求尽可能地做到科学、合理、实用。为了解决这种矛盾通常使用专家咨询法，德尔菲方法（DelphiMethods）由于其独特的优点得到广泛的使用，即经过广泛征求专家意见，反复交换信息，统计处理和归纳综合，使所建立的评价指标体系更能充分反映上述要求。6.2.3、设计评价指标体系的思路•评价的目的是为了控制管理系统，使系统处于最优运行轨迹，使领导有效地对系统进行管理，可采用控制论思路。如过程评价、组织评价、市场秩序评价，这些评价工作的目的是改进工作，可以从系统的投入、产出、内部结构和内部状态、环境反映等方面来建立评价指标体系。•案例：市场秩序评价指标体系6.2.3、设计评价指标体系的思路•评价的目的是选优，可采用系统论思路，即对系统进行整体地剖析、综合思考，从目标分解或社会价值观角度来构造评价指标体系。一般有如下两种指标体系构成方法：评价指标体系的直接分解法，如“五好”学生的评价指标体系由德、智、体、美、劳五方面组成；其次价值观分解法，通常把政治、经济、技术、社会、环境等作为大类指标。•案例：五好学生评价指标体系6.2.4、建立评价指标体系的原则•1、客观性原则•2、科学性原则•3、系统性原则•4、可操作性原则•5、可比性原则6.2.5、建立评价指标体系的程序•1、草拟评价指标体系——系统评价工作者根据评价目标、要求，对评价对象进行调查研究，可采用实地勘查、登门拜访、查阅资料、专家座谈等方法，在充分了解评价目标、要求和熟悉被评价对象的基础上，运用头脑风暴方法，提出评价指标体系初稿。6.2.5、建立评价指标体系的程序•2、设计咨询书——咨询书由邀请信和咨询表组成，邀请信要表达出评价工作的重要性，和对专家的尊重、敬仰以及一定会给报酬的许诺；咨询表的设计要简洁、明了，对咨询内容，如条