高级人工智能-5

第六章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论第六章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论概述不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声规划是模糊的推理能力不足解题方案不唯一在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。概述-表示的3方面问题不确定问题的数学模型表示的3方面问题*表示问题：表达要清楚。表示方法规则不仅仅是数，还要有语义描述。*计算问题：不确定性的传播和更新。也是获取新信息的过程。*语义问题：将各个公式解释清楚。不确定性推理例子例如，对于如下的推理过程：R1：A1∧A2→B1R2：A2∨A3→B2R3：B1→BR4：B2→B在描述这些规则时采用的都是不确定性知识表示方式推理树结果图A1A2A3ORANDB1B2BR1R2R3R4f1f4f3f2概述-表示的3方面问题语义问题：将各个公式解释清楚。语义问题：如何解释表示和计算的含义，目前多用概率方法。如：f（B，A）可理解为当前提A为真时结论B为真的一种影响程度，C（A）可理解为A为真的程度。特别关心的是f（B，A）的值：1）A(T)→B(T),f（B，A）=?2）A(T)→B(F),f（B，A）=?3）B独立于A，f（B，A）=?对C（A）关心的是：1）A为TRUE，C（A）＝？2）A为FALSE,C（A）＝？T：True，F：False概述-分类（1）不确定性推理方法可分为形式化方法和非形式化方法。形式化方法有逻辑法、新计算法和新概率法。逻辑法是非数值方法，采用多值逻辑和非单调逻辑来处理不确定性。传统的有基于概率理论的贝叶斯网络等。新计算法认为概率法不足以描述不确定性，从而出现了证据理论（也叫Dempster－Shafter，D-S方法），确定性方法（CF法）以及模糊逻辑方法。新概率法试图在传统的概率论框架内，采用新的计算方法以适应不确定性描述。非形式化方法是指启发性方法，对不确定性没有给出明确的概念。概述-分类（2）不确定推理方法：工程方法、控制方法和并行确定性法。工程法是将问题简化为忽略哪些不确定性因素。控制法是利用控制策略来消除不确定性的影响，如启发式的搜索方法。并行确定性法是把不确定性的推理分解为两个相对独立的过程：一个过程不计不确定性采用标准逻辑进行推理；另一过程是对第一个过程的结论加以不确定性的度量。前一过程决定信任什么，后一过程决定对它的信任程度。第六章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论第六章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论概率论基础概率论是研究随机现象中数量规律的科学。所谓随机现象是指在相同的条件下重复进行某种实验时，所得实验结果不一定完全相同且不可预知的现象。众所周知的是掷硬币的实验。人工智能所讨论的不确定性现象，虽然不完全是随机的过程，但是实践证明，采用概率论的思想方法考虑能够得到较好的结果。在这节中我们简单给出概率论的基本概念和贝叶斯定理。概率论基础（随机事件）随机实验：随机实验是一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。样本空间：样本空间是一个随机实验的全部可能出现的结果的集合，通常记作Ω，Ω中的点（即一个可能出现的实验结果）成为样本点，通常记作ω。随机事件：随机事件是一个随机实验的一些可能结果的集合，是样本空间的一个子集。常用大写字母A,B,C,…表示。概率论基础（事件间的关系与运算）两个事件A与B可能有以下几种特殊关系：包含：若事件B发生则事件A也发生，称“A包含B”，或“B含于A”，记作AB或BA。等价：若AB且BA，即A与B同时发生或同时不发生，则称A与B等价，记作A=B。互斥：若A与B不能同时发生，则称A与B互斥，记作AB=φ对立：若A与B互斥，且必有一个发生，则称A与B对立，记作或，又称A为B的余事件，或B为A的余事件。概率论基础（事件间的关系与运算）设A，B，A1，A2，…An为一些事件，它们有下述的运算：交：记C=“A与B同时发生”，称为事件A与B的交，C={ω|ω∈A且ω∈B}。类似地用表示事件“n个事件A1,A2,…An同时发生”。并：记C=“A与B中至少有一个发生”，称为事件A与B的并，C={ω|ω∈A或ω∈B}。类似地用表示事件“n个事件A1,A2,…An中至少有一个发生”。差：记C=“A发生而B不发生”，称为事件A与B的差，C={ω|ω∈A但ω∈B}。求余：AA\~概率论基础（运算的性质）事件的运算有以下几种性质：交换率：结合律：分配律：摩根率：事件计算的优先顺序为：求余，交，差和并。ABBABAAB)()(CBACBA)()(BCACAB)()()(BCACCBA))(()(CBCACABiniiniAA~)(~11iniiniAA~)(~11概率论基础（概率定义）定义：设Ω为一个随机实验的样本空间，对Ω上的任意事件A，规定一个实数与之对应，记为P(A)，满足以下三条基本性质，称为事件A发生的概率：若二事件AB互斥，即，则以上三条基本规定是符合常识的。1)(0AP，1)(P0)(P)()()(BPAPBAP概率论基础（概率性质）定义：设{An,n=1,2,…}为一组有限或可列无穷多个事件，两两不相交，且，则称事件族{An,n=1,2,…}为样本空间Ω的一个完备事件族，又若对任意事件B有BAn=An或φ,n=1,2,…，则称{An,n=1,2,…}为基本事件族。完备事件族与基本事件族有如下的性质：定理：若{An,n=1,2,…}为一完备事件族，则，且对于一事件B有有若{An,n=1,2,…}为一基本事件族，则nnA1)(nnAPnnBAPBP)()(BAnnAPBP)()(概率论基础（统计概率性质）对任意事件A，有必然事件Ω的概率P(Ω)=1，不可能事件φ的概率P(φ)=0对任意事件A，有设事件A1，A2，…An（k≤n）是两两互不相容的事件，即有，则设A，B是两事件，则，1)(0AP)(1)(~APAP)(...)()()(211kikiAPAPAPAP)()()()(BAPBPAPBAP概率论基础（条件概率）定义：设A，B为事件且P(A)0，称为事件A已发生的条件下，事件B的条件概率，P(A)在概率推理中称为边缘概率。简称P(B|A)为给定A时B发生的概率。P(AB)称为A与B的联合概率。有联合概率公式：)()()|(APABPABP)()|()(APABPABP概率论基础（条件概率性质），若，则乘法公式：全概率公式：设A1，A2，…An互不相交，，且，则对于任意事件A有，1)|(0ABP1)|(AP0)|(AP21BB)|()|()|(2121ABPABPABBP)|()()(ABPAPABP)...|()...|()|()()...(12121312121nnnAAAAPAAAPAAPAPAAAPiiAniAPi,...,2,1,0)(iiiAAPAPAP)|()()(概率论基础（贝叶斯定理），设A，B1，B2，…，Bn为一些事件，P(A)0，B1，B2，…，Bn互不相交，P(Bi)0,i=1,2,…,n，且，则对于k=1,2,…,n，贝叶斯公式容易由条件概率的定义，乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi),i=1,2,…,n称为先验概率，而P(Bi|A)i=1,2,…,n称为后验概率也是条件概率。1)(iiBPiiikkkBAPBPBAPBPABP)|()()|()()|(没病的人有病的人检查结果正确检查结果错误各种情况的概率是多少？第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论第六章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论贝叶斯网络二十世纪八十年代贝叶斯网络（BayesNetwork）成功地应用于专家系统，成为表示不确定性专家知识和推理的一种流行的方法。基于贝叶斯方法的贝叶斯网络是一种适应性很广的手段和工具，具有坚实的数学理论基础。在综合先验信息（领域知识）和数据样本信息的前提下，还可避免只使用先验信息可能带来的主观偏见。虽然很多贝叶斯网络涉及的学习问题是NP难解的。但是，由于已经有了一些成熟的近似解法，加上一些限制后计算可大为简化，很多问题可以利用近似解法求解。贝叶斯网络方法的不确定性表示基本上是保持了概率的表示方式，可信度计算也是概率计算方法，只是在实现时，各具体系统根据应用背景的需要采用各种各样的近似计算方法。推理过程称为概率推理。因此，贝叶斯网络没有其它确定性推理方法拥有的确定性表示、计算、语义解释等问题。本节介绍贝叶斯网络的基本概念和简单的推理方法。贝叶斯网络（事件的独立性）独立：如果X与Y相互独立，则P(X,Y)=P(X)P(Y)P(X|Y)=P(X)条件独立：如果在给定Z的条件下，X与Y相互独立，则P(X|Y,Z)=P(X|Z)实际中，条件独立比完全独立更重要贝叶斯网络（联合概率）联合概率：P(X1,X2,…,XN)二值，则有2N可能的值，其中2N-1个独立。如果相互独立：P(X1,X2,…,XN)=P(X1)P(X2)…P(XN)条件概率：P(X1,X2,…,XN)=P(X1|X2,…,XN)P(X2,…,XN)迭代表示：P(X1,X2,…,XN)=P(X1)P(X2|X1)P(X3|X2X1)…P(XN|XN-1,…,X1)=P(XN)P(XN-1|XN)P(XN-2|XN-1XN)…P(X1|X2,…,XN)实际应用中就是利用条件独立性的性质简化网络复杂性的。贝叶斯网络（基本概念）贝叶斯网络：一系列变量的联合概率分布的图形表示。一个表示变量之间的相互依赖关系的数据结构；图论与概率论的结合。贝叶斯网络（因果关系网络）假设：命题S(smoker)：该患者是一个吸烟者命题C(coalMiner)：该患者是一个煤矿矿井工人命题L(lungCancer)：他患了肺癌命题E(emphysema)：他患了肺气肿由专家给定的假设可知，命题S对命题L和命题E有因果影响，而C对E也有因果影响。命题之间的关系可以描绘成因果关系网。每一个节点代表一个证据，每一条弧代表一条规则（假设），连接结点的弧表达了有规则给出的，节点间的直接因果关系。其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。贝叶斯网络（因果关系图例）其中，节点S，C是节点L和E的父节点或称双亲节点，同时，L，E也称为是S和C的子节点或称后代节点。SCEL因果关系图例贝叶斯网络（贝叶斯网络）贝叶斯网就是一个在弧的连接关系上加入连接强度的因果关系网络。贝叶斯网络（图例）BADEFCG贝叶斯网络图例无环图和指定概率值P(A),P(B),P(B|AC),P(E|C),P(D|C),P(F|E),P(G|DEF)贝叶斯网络（图例）非贝叶斯网络图例BADCEGF贝叶斯网络（定义）两个部分贝叶斯网络结构图，这是一个有向无环图（DAG:DirectedAcyclicGraph），其中图中的每个节点代表相应的变量。当有向弧由节点A指向节点B时，则称：A是B的父节点；B是A的子节点。节点和节点之间的条件概率表（ConditionalProbabilityTable,CPT），也就是一系列的概率值，表示了局部条件概率分布。P