第10讲-序贯决策分析01

1邢立宁国防科技大学五院管理系Email：[e-mail]联系电话：[phone]决策理论与方法2多阶段决策序贯决策马尔可夫决策第10讲：序贯决策分析3在经济管理活动中，由于某些问题的特殊性，需要将活动过程分为若干个相互联系的阶段，在它的每一个阶段都需要做出决策，从而使整个过程达到最好的活动效果。当各个阶段决策确定后，就组成了一个决策系列，决定了整个过程的一条活动路线。把一个问题看作是一个前后关联的具有链状结构的多阶段过程就成为多阶段决策过程。多阶段决策问题1、多阶段决策4决策者需要做出时间上有先后之别的多次决策；前一次决策的选择将直接影响到后一次决策，后一次决策的状态取决于前一次决策的结果；决策者关心的是多次决策的总结果，而不是各次决策的即时后果(全程最优)。多阶段决策问题的特点1、多阶段决策5解决多阶段问题的主要方法：决策树方法动态规划方法多阶段决策分析的步骤：根据具体问题适当划分阶段；确定各阶段的状态变量，寻找多阶段之间的联系；由后到前用逆序法进行决策分析多阶段决策方法1、多阶段决策6某公司考虑是否花费4000元钱从某科研机构购买某项技术，然后产销新产品，如果买技术，可以进行大批(a1)、中批(a2)或小批生产(a3)，可能出现的市场情况也分为畅销、一般和滞销三种情况。其收益矩阵如表6-1所示。应用举例1、多阶段决策7为了更准确地了解市场，在正式投产前可先生产少量产品试销。由于要增添少量生产设备等原因，试销费需要600元。由于试销前未做广告，顾客对产品不太了解，加之试销销量较小，试销结果很不准确。假设试销结果分为产品受欢迎(H1)、一般(H2)和不受欢迎(H3)三种，其准确度如表6-2。1、多阶段决策如不买此项技术，把这笔费用用在其他方面，在同样的时期可获利8000元。那么，该公司应该如何决策？（1）是否买技术？（2）如果买技术，是否采取试销办法？（3）如果不试销，应大批生产、中批生产还是小批生产？如果试销，又应该如何根据试销结果决定其行动？9471.034.04.04.0)()()()(111111HPθPθHPHθP177.034.03.02.0)()()()(122112HPθPθHPHθP352.034.03.04.0)()()()(133113HPθPθHPHθP34.04.032.02.03.04.04.0)()()(1311jjjθPθHPHP1、多阶段决策106-3试销结果下的后验概率1、多阶段决策12有些决策问题，在决策后又产生一些新情况，需要进行新决策，接着又有一些新情况，又需要进行新决策。这样决策、新情况、决策…，就构成一个系列，成为系贯决策。多阶段决策的阶段数是确定的，序贯决策的阶段数是不确定的，它依赖于执行决策过程中所出现的状况。决策方法：决策树2、序贯决策13产品检验问题：如果进行第一次抽样后，除选择检验还是不检验之外，还可以根据前面抽样的结果，考虑是否在进行一次容量为1的抽样。第二次抽样完成后，还可以考虑容量为1的第三次抽样，------如果继续下去，该抽样问题形成一个决策系列。决策终止原则：只要有一个非经抽样的行动的损益值增加值大于进行抽样的费用时，决策序列终止。2、序贯决策14例6－3设某石油勘探队，在一片估计能出油的荒田钻探，可以先做地震试验，然后决定钻井与否。或者不做地震试验，只凭经验决定钻井与否。做地震试验的费用为每次30000元，钻井费用为10000元。若钻井后出油，这井队可收入40000元；若不出油就没有任何收入。各种情况下出油的概率已估计出，并标在图6－2上。问钻井队的决策者如何做出决策使收入的期望为最大。2、序贯决策152、序贯决策16例6－4设决策者的效用曲线如图6－5所示。试以最大效用期望值为决策准则，对上例进行决策。2、序贯决策172、序贯决策18某工厂的产品每1000件装成一箱出售。每箱中产品的次品率有0.01、0.40、0.90三种可能，其概率分别是0.2、0.60、0.20。现在的问题是：出厂前是否要对产品进行严格检验，将次品挑出。可以选择的行动有两个：整箱检验，检验费为每箱100元；整箱不检验，但如果顾客在使用中发现次品，每件次品除调换为合格品外还要赔偿0.25元损失费。为了更好地做出决定可以先从一箱中随机抽取1件作为样本检验它。然后根据这件产品是否次品再决定该箱是否要检验，抽样成本为4.20元，那么该厂应该如何决策。这里要决策的问题是：是否抽检？如果不抽检，是否进行整箱检验?如果抽检，应如何根据抽检结果决定行动？2、序贯决策19预测在本质上就是利用预测对象的历史数据去推知预测对象的未来。在经济管理现象中存在一种“无后效性”，即“系统在每一时刻的状态仅仅取决于前一时刻的状态，而与其过去的历史无关。”如：池塘里有三张荷叶，编号为1，2，3，假设有一只青蛙随机地在荷叶上跳来跳去，在初始时刻，它在2号荷叶上。在时刻，它有可能跳到1号或者3号荷叶上，也有可能原地不动。马尔可夫决策问题3、马尔可夫决策20把青蛙某时刻所在的荷叶称为青蛙所处的状态，青蛙在未来处于什么状态，只与它现在所处的状态无关，与它以前所处的状态无关。这种性质就是所谓的“无后效性”，即马尔可夫(Markov)性。对于某些情况，知道预测对象的当前状态，希望由此推知预测对象的今后状态，如果这样的对象在状态转移过程中满足马尔可夫性，则可以利用随机过程(stochasticprocess)的有关理论进行预测。这种预测技术不需要太多的历史数据和资料，只需要预测对象最近和当前的资料。3、马尔可夫决策21所谓马尔可夫链，就是一种随机时间系列，它在将来取什么值只与它现在的取值有关，而与它过去取什么值的历史情况无关，即无后效性。具备这个性质的离散性随机过程，称为马尔可夫链。马尔可夫链与转移概率矩阵3、马尔可夫决策22nX随机过程，如果对任意都存在则称具有马尔可夫性。{(),}XttT12,nittttT111111{()|(),,()}{()|()}nnnnnnPxtyxtxxtxPxtyxtx{(),}XttT3、马尔可夫决策23nX3、马尔可夫决策24有些经济现象本身就满足马尔可夫性。比如，考察产品的销售情况时，产品销售从畅销转而滞销或者从滞销转而畅销等显然只与其当前状态有关；某产品的市场占有率发生变化，即进行状态转移时，也只与当前状态有关；机器设备从待修到正常工作或从正常工作到待修状态还是只与机器设备的当前状态有关等。当然也有很多经济现象不满足这种马尔可夫性。在这种情况下，如能近似满足马尔可夫性，则也能采用这种预测方法。反之，就不能采用马尔可夫预测方法。nX3、马尔可夫决策25定义2：状态转移概率nX马尔可夫链的概率特性取决于条件概率)(imjkmEXEXP在概率论中，条件概率)(BAp表达了由状态B向状态A转移的概率，简称为状态转移概率。)(imjkmEXEXP的含义是，某系统在时刻m处于状态Ei的条件下，时刻m+k处于状态Ej的概率。3、马尔可夫决策26nX某地区有A、B、C三家食品厂生产同一食品，有10000个用户(或购货点)，假设在研究期间无新用户加入也无老用户退出，只有用户的转移。已知2007年5月份有5000户是A厂的顾客，4000户是B厂的顾客，1000户是C厂的顾客。6月份，A厂有4000户原来的顾客，上月的顾客有500户转到B厂，50户转到C厂；B厂有3000户原来的顾客，上月的顾客有200户转到A厂，800户转到C厂；C厂有800户原来的顾客，上月的顾客有100户转到A厂，100户转到B厂。试计算其状态转移概率。3、马尔可夫决策27nX3、马尔可夫决策28nX8.00500040011p1.0050005012p1.0005000513p05.0040002021p75.00040003022p2.0004008023p1.0010000131p1.0001000132p8.0001000833p3、马尔可夫决策29nX将考察对象从一个状态转移到另一个状态的转移概率按行组成一个矩阵，称此矩阵为状态转移概率矩阵。其中称NNNNNNpppppppppP212222111211为一步转移概率矩阵。3、马尔可夫决策30一步转移概率矩阵具有性质：nXNjijijNipNjip1,,2,1,1,,2,1,,103、马尔可夫决策31k步转移概率矩阵：nX)()()()()()()()()()(212222111211kkkkkkkkkkNNNNNNpppppppppPNjkkNipNjipijij1)()(,,2,1,1,,2,1,,10k步转移概率矩阵的性质：3、马尔可夫决策32状态转移概率矩阵nX)2()2()2()2()2()2()2()2()2()2(212222111211NNNNNNpppppppppPkNNkNkkNkNkkNkNkkNNkkkNkkkNkkkNNkkkNkkkNkkpppppppppppppppppp121111221211211211111NNNNNNppppppppp212222111211NNNNNNppppppppp21222211121122212222111211PpppppppppNNNNNN3、马尔可夫决策33例题：某经济系统有三种状态(比如畅销、一般、滞销)。系统状态转移情况见表6.2。试求系统2步转移概率矩阵。nX321,,EEE321,,EEE3、马尔可夫决策3、马尔可夫决策34例题：某经济系统有三种状态(比如畅销、一般、滞销)。系统状态转移情况见表6.2。试求系统2步转移概率矩阵。nX321,,EEE321,,EEE1.04.050.0334.0222.0444.0333.0167.050.0P221.04.050.0334.0222.0444.0333.0167.050.0P31.021.048.025.026.049.026.025.049.03、马尔可夫决策35nX321,,EEE例6－5某企业为使技术人员具有多方面经验，实行技术人员在技术部门、生产部门的轮换工作制度。轮换办法采取随机形式，每半年轮换一次。初始状态，即技术人员开始是在某部门工作概率用表示，j=1,2,3;表示处于第i个部门的技术人员在半年后（一步）转移到第j个部门的概率。已知(0)jPijP1112132122233132330.50.5000.50.50.750.250PPPPPPPPPP(0)(0)(0)(0)123111(,,)(,,)333PPPP如果某人开始在工程技术部门工作（部门1），则经过2次转移后他在生产部门工作（部门2）的概率是多少？3、马尔可夫决策36nX321,,EEE例6－6某生产商标为α的产品的厂商为了与另外两个生产同类产品β和γ的厂家竞争，有三种可供选择的措施：措施1为发放有奖债券；措施2为开展广告宣传；措施3为优质售后服务。三种方案分别实施以后，经统计调查可知，该类商品的市场占有率的转移矩阵分别是10.800.150.050.200.450.350.300.400.30P20.900.050.050.100.800.100.100.150.75P30.900.05