5.3.主观Bayes公式

2014-4-2人工智能丁世飞15.3主观Bayes方法在许多情况下，同类事件发生的频率并不高，甚至很低，无法做概率统计，这时一般需要根据观测到的数据，凭领域专家给出一些主观上的判断，称为主观概率，一般可以解释对证据和规则的主观信任度。概率推理中起关键作用的是Bayes公式，它是主观Bayes的基础。主观Bayes方法是由杜达(R.O.Duda)等人在1976年在概率论的基础上，通过对Bayes公式的修正而形成的一种不确定性推理模型，并成功地应用在他们自己开发的地矿勘探专家系统PROSPECTOR中。2014-4-2人工智能丁世飞2定义5.1（全概率公式）设有事件A1,A2,…,An满足:(1)任意两个事件互不相容；(2)P(Ai)0(i=1,2,…,n)；(3)样本空间D是各个Ai（i=l，2，…，n)的集合。则对任何事件B来说，有下式成立:P(B)=P(A1)·P(B|A1)+P(A2)·P(B|A2)+…+P(An)·P(B|An)全概率公式提供了计算P(B)的方法。niiiABp1)|()P(A概率方法---Bayes推理2014-4-2人工智能丁世飞3定义5.2（Bayes公式）设有事件A1,A2,…,An满足:(1)任意两个事件互不相容；(2)P(A)0(i=1,2，…,n)(3)样本空间D是各个Ai(i=1，2,…,n)的集合。则对任何事件B来说，则有下式成立:概率方法---Bayes推理2014-4-2人工智能丁世飞4由全概率公式得到其中P(Ai)是事件Ai的先验概率；P(B|Ai)是在事件Ai发生条件下事件B的条件概率；P(Ai|B)是在事件B发生条件下事件Ai的条件概率，称为后验概率。2014-4-2人工智能丁世飞5在专家系统中，假设有IfEThenH其中E为前提条件，H为结论。那么条件概率P(H|E)就表示在E发生时，H的概率，可以用它作为证据E出现时结论H的确定性程度。同样对于复合条件E=E1∧E2∧…∧En，也可以用条件概率P(H|E1…En)作为证据E1，…，En出现时，结论H的确定性程度。利用Bayes公式进行推理2014-4-2人工智能丁世飞6对于产生式规则IfEThenHi，用条件概率P(Hi|E)作为证据E出现时，结论Hi的确定性程度。根据Bayes公式，可以得到利用Bayes公式进行推理2014-4-2人工智能丁世飞7这就是说，当已知结论Hi的先验概率P(Hi)，并且已知结论Hi(i=1，2，…，n)成立时,前提条件E所对应的证据出现的条件概率P(E|Hi)就可以用上式求出相应证据出现时结论Hi的条件概率P(Hi|E)。（i=1,2,…,n）利用Bayes公式进行推理2014-4-2人工智能丁世飞8当有多个证据E1，…，Em和多个结论H1，…，Hn，并且每个证据都以一定程度支持每个结论时，根据独立事件的概率公式和全概率公式，Bayes公式可变为（i=1,2,…,n）利用Bayes公式进行推理2014-4-2人工智能丁世飞9此时，只要已知Hi的先验概率P(Hi)以及Hi成立时证据E1,…,Em出现的条件概率P(E1|Hi),…,P(Em|Hi)，就可利用上式计算出在E1,…,Em出现情况下Hi的条件概率P(Hi|E1,…,Em)。如果把Hi(i=l,2,…,n)当作一组可能发生的疾病，把Ej(j=l，…,m)当作相应的症状，P(Hi)是从大量实践中经统计得到的疾病Hi发生的先验概率，P(Ej|Hi)是疾病Hi发生时观察到症状Ej的条件概率，则当对其病人观察到有症状E1,…,Em时，应用上述Bayes公式就可计算出P(Hi|E1,…,Em)，从而得知病人患疾病Hi的可能性。利用Bayes公式进行推理2014-4-2人工智能丁世飞10Bayes推理的优点是它有较强的理论背景和良好的数学特性，当证据和结论都彼此独立时，计算的复杂度比较低。但是它也有其局限性:(1)因为需要如果又增加一个新的假设，则对所有的l≤j≤n+1，P(Hj)都需要重新定义。利用Bayes公式进行推理2014-4-2人工智能丁世飞11(2)Bayes公式的应用条件是很严格的，它要求各事件互相独立，如证据间存在依赖关系，就不能直接使用此方法。(3)在概率论中，一个事件或命题的概率是在大量统计数据的基础上计算出来的，因此尽管有时P(Ej|Hi)比P(Hi|Ej)相对容易得到，但总的来说，要想得到这些数据仍然是一件相当困难的工作。利用Bayes公式进行推理2014-4-2人工智能丁世飞125.3.1知识不确定性的表示1.知识表示方式在主观Bayes方法中，知识是用产生式规则表示的，具体形式如下：IFETHEN(LS,LN)H其中(LS,LN)用来表示该知识的强度。LS（充分性度量）和LN（必要性度量）表示形式分别如下：（1）充分性度量充分性度量的定义如下：)|(H)|P(ELSHEP表示E对H的支持强度，取值范围为[0,+∞)，一般由专家给出。2014-4-2人工智能丁世飞135.3.1知识不确定性的表示1.知识表示方式在主观Bayes方法中，知识是用产生式规则表示的，具体形式如下：IFETHEN(LS,LN)H其中(LS,LN)用来表示该知识的强度。LS（充分性度量）和LN（必要性度量）表示形式分别如下：（2）必要性度量必要性度量的定义如下：H)|P(E-1H)|P(E-1)|(H)|EP(LNHEP表示﹁E对H的支持强度，即E对H为真的必要性程度，取值范围为[0,+∞)，也由专家凭经验给出。2014-4-2人工智能丁世飞145.3.1知识不确定性的表示1.知识表示方式（3）LS和LN的含义由Bayes公式可知：)(H)|P(EP(H)E)|P(HEP)(H)|P(EH)P(E)|HP(EP两式相除可得：)|()()|()()|(E)|P(HHEPHPHEPHPEHP（5.14）2014-4-2人工智能丁世飞155.3.1知识不确定性的表示1.知识表示方式（3）LS和LN的含义为讨论方便，引入几率函数如下：)(1)()(XPXPXO)()()(XPXPXO或可见，X的几率等于X出现的概率与X不出现的概率之比，P(X)与O(X)变化一致，且有：P(X)=0时，有O(X)=0P(X)=1时，有O(X)=+∞这样就把取值为[0,1]的P(X)放大为取值为[0,+∞)的O(X)了。（5.15）2014-4-2人工智能丁世飞165.3.1知识不确定性的表示1.知识表示方式（3）LS和LN的含义把（5.15）式中几率和概率的关系代入(5.14)式有：)()|()|()|(HOHEPHEPEHO把LS代入此式有：)(LS)|(HOEHO该式被称为Bayes公式的几率似然性形式。LS称为充分似然性，因为如果LS=+∞，则证据E对于推出H为真实逻辑充分的。（5.16）2014-4-2人工智能丁世飞175.3.1知识不确定性的表示1.知识表示方式（3）LS和LN的含义把（5.15）式中几率和概率的关系代入(5.14)式有：)()|()|()|(HOHEPHEPEHO同理可得到关于LN公式：)(LN)|(HOEHO该式被称为Bayes公式的必然似然性形式。LN称为必然似然性，因为如果LN=0，O(H|﹁E)=0，这说明﹁E为真时，H必假，即E对H来说是必然的。（5.17）2014-4-2人工智能丁世飞185.3.1知识不确定性的表示1.知识表示方式（4）修改的Bayes公式)(LS)|(HOEHO)(LN)|(HOEHO公式(5.16)与公式(5.17)就是修改的Bayes公式。从这两个公式可以看出：当E为真时，可以LS将H的先验几率O(H)更新为其后验几率O(H|E);当E为假时，可以LN将H的先验几率O(H)更新为其后验几率O(H|┐E);（5.17）（5.16）2014-4-2人工智能丁世飞192.LS和LN的性质（1）LS的性质当LS1时，O(H|E)O(H)，说明E支持H；LS越大，O(H|E)比O(H)大得越多，即LS越大,E对H的支持越充分。当LS→∞时，O(H|E)→∞，即P(H|E)→1，表示由于E的存在，将导致H为真。当LS=1时，O(H|E)=O(H)，说明E对H没有影响；当LS1时，O(H|E)O(H)，说明E不支持H；当LS=0时，O(H|E)=0，说明E的存在使H为假。由上述分析可以看出，LS反映的是E的出现对H为真的影响程度。因此称LS为知识的充分性度量。5.3.1知识不确定性的表示2014-4-2人工智能丁世飞202.LS和LN的性质（2）LN的性质当LN1时，O(H|┐E)O(H)，说明┐E支持H，即由于E的不出现，增大了H为真的概率。并且LN越大，P(H|┐E)就越大，即┐E对H为真的支持就越强。当LN→∞时，即P(H|┐E)→∞，表示由于┐E的存在，将导致H为真。当LN=1时，O(H|┐E)=O(H)，说明┐E对H没有影响；当LN1时，O(H|┐E)O(H)，说明┐E不支持H；当LN=0时，O(H|┐E)=0，说明┐E的存在将导致H为假。由上述分析可以看出，LN反映的是E不存在时对H为真的影响。因此称LN为知识的必要性度量。5.3.1知识不确定性的表示2014-4-2人工智能丁世飞212.LS和LN的性质（3）LS与LN的关系由于E和┐E不会同时支持或同时排斥H，因此只有下述三种情况存在：LS1且LN1LS1且LN1LS=LN=1事实上，如果LS1，即LS1≡P(E|H)/P(E|┐H)1≡P(E|H)P(E|┐H)≡1-P(E|H)1-P(E|┐H)≡P(┐E|H)P(┐E|┐H)≡P(┐E|H)/P(┐E|┐H)≡LN1同理可证明“LS1且LN1”和“LS=LN=1”。5.3.1知识不确定性的表示2014-4-2人工智能丁世飞225.3.2证据不确定性的表示证据通常可以分为全证据(CompleteEvidence)和部分证据(PartialEvidence)。全证据就是所有的证据，即所有可能的证据和假设，它们组成证据E。部分证据S就是我们所知道的E的一部分，这一部分证据也可以称为观察。全证据的可信度依赖于部分证据，表示为P(E|S)。如果知道所有的证据，则E=S，且有P(E|S)=P(E)。其中P(E)就是证据E的先验似然性，P(E|S)是已知全证据E中部分知识S后对E的信任，为E的后验似然性。2014-4-2人工智能丁世飞23在主观Bayes方法中，证据E的不确定性可以用证据的似然性或几率来表示。似然性与几率之间的关系为一般地，原始证据的不确定性通常由用户给定，作为中间结果的证据可以由下面的不确定性传递算法确定。5.3.2证据不确定性的表示2014-4-2人工智能丁世飞245.3.2组合证据不确定性的计算当组合证据是多个单一证据的合取时，即E=E1ANDE2AND…ANDEn如果已知在当前观察S下，每个单一证据Ei有概率P(E1|S),P(E2|S)，…,P(En|S)，则P(E|S)=min{P(E1|S),P(E2|S)，…,P(En|S)}2014-4-2人工智能丁世飞25当组合证据是多个单一证据的析取时E=E1ORE2OR…OREn如果已知在当前观察S下，每个单一证据Ei有概率P(E1|S)，P(E2|S)，…,P(En|S),则P(E|S)=max{P(E1|S)，(E2|S),…,P(En|S)}对于“非”运算，用下式计算:P(┐E|S)=l-P(E|S)5.3.2组合证据不确定性的计算2014-4-2人工智能丁世飞265.3.3不确定性的更新（传递）主观Bayes方法推理的任务就是根据E的概率P(E)及LS、LN的值，把H的先验概率(或似然性)P(H)或先验几率O(H)更新为后验概率(或似然性)或后验几率。由于一条规则所对应的证据可能肯定为真，也可能肯定为假，还可能既非真又非假，