湘潭大学-人工智能课件-非经典推理-part-2

ArtificialIntelligence(AI)人工智能第三章：非经典推理内容提要第三章：非经典推理1.经典推理和非经典推理2.不确定性推理3.概率推理4.主观贝叶斯方法5.可信度方法6.证据理论主观贝叶斯方法使用概率推理方法求结论Hi在存在证据E时的条件概率P(Hi|E)，需要给出结论Hi的先验概率P(Hi)及证据E的条件概率P(E|Hi)。这对于实际应用是不容易做到的。Duda和Hart等人在贝叶斯公式的基础上，于1976年提出主观贝叶斯方法，建立了不精确推理的模型，并把它成功地应用于PROSPECTOR专家系统（PROSPECTOR是国际上著名的一个用于勘察固体矿的专家系统）。主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程知识不确定性的表示在主观Bayes方法中，知识是用产生式表示的，其形式为：IFETHEN(LS,LN)HE表示规则前提条件，它既可以是一个简单条件，也可以是用AND或OR把多个简单条件连接起来的复合条件。H是结论，用P(H)表示H的先验概率，它指出没有任何专门证据的情况下结论H为真的概率，其值由领域专家根据以往的实践经验给出。主观贝叶斯方法LS是规则的充分性度量。用于指出E对H的支持程度，取值范围为[0,+∞)，其定义为：LN是规则的必要性度量。用于指出E对H为真的必要程度，即﹁E对对H的支持程度。取值范围为[0,+∞)，其定义为：(|)(|)PEHLSPEH(|)1(|)(|)1(|)PEHPEHLNPEHPEH主观贝叶斯方法讨论LS和LN的含义由本Bayes公式可知：两式相除得：(|)()(|)()(|)()(|)()PEHPHPHEPEPEHPHPHEPE(|)(|)(|)(|)()()PEHPPHPHPHHEHEPELS主观贝叶斯方法讨论LS和LN的含义为讨论方便，下面引入几率函数：可见，X的几率等于X出现的概率与X不出现的概率之比，O(X)与P(X)的变化一致，且有：即把取值为[0,1]的P(X)放大为取值为[0,+∞)的O(X))(1)()()()()(XPXPXOXPXPXO或1)(if0)(if0)(XPXPXO主观贝叶斯方法讨论LS和LN的含义因此得到关于LS的公式：E对H的支持程度同理得到关于LN的公式：﹁E对H的支持程度(|)()()(|)(|)=(|(|))()PEHLSPPHEOHEPHEPHOHPHEH(|()(|)(|)(|))()(()|)PEHPLNPEHOHPHEPHHOHEPHE主观贝叶斯方法LS的含义：当LS1时，O(H|E)O(H)，说明E支持H。LS越大，E对H的支持越充分。当LS=1时，O(H|E)=O(H)，说明E对H没有影响。当LS1时，O(H|E)O(H)，说明E不支持H。当LS=0时，O(H|E)=0，说明E的存在使H为假。(|)()()(|)(|)=(|(|))()PEHLSPPHEOHEPHEPHOHPHEH主观贝叶斯方法LN的含义：当LN1时，O(H|﹁E)O(H)，说明﹁E支持H。LN越大，﹁E对H为真的支持就越强。当LN=1时，O(H|﹁E)=O(H)，说明﹁E对H没有影响。当LN1时，O(H|﹁E)O(H)，说明﹁E不支持H，即由于E不存在，将反对H为真。LN越小，E的不出现就越反对H为真，这说明H越需要E的出现。当LN=0时，O(H|﹁E)=0，说明E不存在将导致H为假。(|()(|)(|)(|))()(()|)PEHPLNPEHOHPHEPHHOHEPHE主观贝叶斯方法LS和LN的关系由于E和﹁E不会同时支持或同时排斥H，因此只有下述三种情况存在：①LS1且LN1②LS1且LN1③LS=LN=1证明：①LS1⇔P(E|H)/P(E|¬H)1⇔P(E|H)P(E|¬H)⇔1-P(E|H)1-P(E|¬H)⇔P(¬E|H)P(¬E|¬H)⇔P(¬E|H)/P(¬E|¬H)1⇔LN1同理可证明②、③，证明略主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程证据不确定性的表示在主观Bayes方法中，证据E的不精确性是用其概率或几率来表示的。概率与几率之间的关系为：在实际应用中，若证据E是不可以直接观测的，则需要由用户根据观察S给出P(E|S)，即动态强度。用P(E|S)描述证据E的不确定性。由于主观给定P(E|S)有所困难，所以实际中可以用可信度C(E|S)代替P(E|S)。0()()1()(0,)EPEOEEPEE当为假当为真当非真也非假()()1()OEPEOE证据不确定性的表示在PROSPECTOR中C(E|S)取整数：{-5,….,5}C(E|S)=-5表示在观测S下证据E肯定不存在P(E|S)=0C(E|S)=5表示在观测S下证据E肯定存在P(E|S)=1C(E|S)=0表示S与E无关,即:P(E|S)=P(E)C(E|S)与P(E|S)的对应关系如下（分段线性插值）：0-55C(E/S)P(E/S)1P(E)(|)()(5(|))0(|)55(|)()(5(|))5(|)05CESPECESCESPESPECESCES55(|)()()(|)11()(|)(|)()0(|)()()PESPEPEPESPECESPESPEPESPEPE主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程组合证据不确定性的计算证据的基本组合方式包括合取和析取两种合取：当组合证据是多个单一证据的合取：E=E1ANDE2AND…ANDEn则：P(E|S)=min{P(E1|S),P(E2|S),…,P(En|S)}析取：当组合证据是多个单一证据的析取：E=E1ORE2OR…OREn则：P(E|S)=max{P(E1|S),P(E2|S),…,P(En|S)}主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程不确定性的更新不确定性的更新过程：根据证据E在观察S下的条件概率P(E|S)以及LS和LN的值，把H的先验几率O(H)或先验概率P(H)更新为后验几率O(H|S)或后验概率P(H|S)。当证据不确定时，需要使用Duda等给出的公式计算后验概率：P(H|S)=P(H|E)×P(E|S)+P(H|﹁E)×P(﹁E|S)不确定性的更新对上述公式分以下3种情况讨论：1.证据E肯定为真：P(E|S)=1，P(﹁E|S)=0，P(H|S)=P(H|E)2.证据E肯定为假：P(E|S)=0，P(﹁E|S)=1，P(H|S)=P(H|﹁E)3.证据E既非为真又非为假：0P(E|S)1当P(E|S)=P(E)，P(H|S)=P(H)当P(E|S)为其他值P(H|S)=P(H|E)×P(E|S)+P(H|﹁E)×P(﹁E|S)不确定性的更新当P(E|S)≠P(E)时，表示E与S相关。上面已经得到了P(E|S)的3个特殊值：0，P(E)，1；它们分别对应的3个值为P(H|﹁E)，P(H)，P(H|E)。由此构造的分段线性插值函数为：0P(E)1P(E|S)P(H|﹁E)P(H)P(H|E)P(H|S)不确定性的更新分段线性插值函数的解析式为（点斜式）：该公式称为EH公式。用C(E|S)代替EH公式中的P(E|S)，可得到等价的CP公式()(|)(|)(|)0(|)()()(|)(|)()()(|)()()(|)11()PHPHEPHEPESPESPEPEPHSPHEPHPHPESPEPEPESPE若若1(|)()(|)(|)1(|)05(|)1()(|)()(|)(|)05PHEPHPHECESCESPHSPHPHEPHCESCES若若主观贝叶斯方法主观贝叶斯方法1.知识不确定性的表示2.证据不确定性的表示3.组合证据不确定性的计算4.不确定性的更新5.主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程当采用初始证据进行推理时，用户提供C(E|S)，通过CP公式就可以求出P(H|S)当采用推理过程中得到的中间结论作为证据进行推理时，通过EH公式就可以求出P(H|S)结论不确定性的合成：如果有n条知识都支持同一结论H，且每条知识的前提条件分别是n个相互独立的证据E1,E2,…,En，这些证据分别与观察S1,S2,…,Sn相对应。如何计算O(H|S1,S2,…,Sn)？主观贝叶斯方法的推理过程首先对每条知识分别求出H的后验几率O(H|Si)，然后利用这些后验几率并按下述公式求出在所有观察下H的后验几率：上述公式的推导过程如下：1122,,,nnOHSOHSOHSOHSOHOHOOHSHS主观贝叶斯方法的推理过程121212121212121211111211,,,,,,,,,,,,,,,,,,,,,,,,,,,nnnnnnnnnnnnnnnPHSSSPHSSSPSSSHPHPSSSPSSSHPHPSSSPSSSHPHPHPSSSHPSHPSHPHPHPSHPSHPOHSSSHSPSPHPHSPSPHPHSPSPHPHSPSPH1211nnnPHPHPHSPHSPHSPHSPHPHPHPHPHPHOHSOHSOHSOHOHOHOH公式推导过程主观贝叶斯方法的推理过程主观贝叶斯方法的推理过程示例设有规则r1:IFE1THEN(2,0.0001)H1r2:IFE1ANDE2THEN(100,0.001)H1r3:IFH1THEN(200,0.01)H2已知：P(E1)=P(E2)=0.6，P(H1)=0.091，P(H2)=0.01用户回答:P(E1|S1)=0.76，P(E2|S2)=0.68求：P(H2|S1,S2)=?主观贝叶斯方法的推理过程解：由已知知识得到的推理网络如下图所示。P(H1)=0.091H2H1ANDE1E2P(H2)=0.01P(E1)=0.6P(E2)=0.6P(E1|S1)=0.76P(E2|S2)=0.68(2,0.001)r1:(100,0.001)r2:(200,0.01)r3:S1S2主观贝叶斯方法的推理过程由推理网络可知，求解过程如下：P(H1|S1)P(H1|(S1ANDS2))P(H1|S1,S2)P(H2|S1,S2)(1)计算P(H1|S1)(2)计算P(H1|(S1ANDS2))(3)计算P(H1|S1,S2)(4)计算P(H2|S1,S2)主观贝叶斯方法的推理过程(1)计算P(H1|S1)：由EH公式()(|)(|)(|)0(|)()()(|)