哈工大人工智能课件chpt5(4)

人工智能原理第5章不精确推理本章内容5.1不精确推理的必要性5.2不确定性的表示5.3贝叶斯网络5.4可信度方法5.5模糊推理参考书目附录似然比与贝叶斯概率推理第7章不精确推理5.1不精确推理的必要性不精确推理的原因/方法第7章不精确推理4为什么要不精确推理•推理所需的信息不完备：竞争双方不知道对方信息•背景知识不足：疑难病症的机理•多种原因导致同一结果：疾病的诊断•信息描述模糊：目击者对嫌疑犯的描述•信息中含有噪声：做假帐，虚假统计报表，采集数据当中的噪声（雷达、声纳/化验）等•规则是模糊的：定性描述，如“如果刑事犯罪猖獗，就应加大打击力度”等•推理能力不足：天气预报的计算•解决方案不唯一：多个方案如何选优的问题第7章不精确推理5不确定性与不精确推理•从智能体角度看，他不得不在不确定的环境下行动•现实的不确定性需要不精确推理：将数值计算引入推理过程•继续使用逻辑联结词•真假值概率化，以表示某种可靠程度•在推理的前提和结论之间建立概率公式•应用：专家系统中的推理网络•PROSPECTOR系统•MYCIN系统第7章不精确推理5.2不确定性的表示5.2.1概率及其公理5.2.2概率推理第7章不精确推理7主观Bayes主义(概率从何而来)•主观Bayes主义：•现实世界的一些因果关系可以形成一种信念，它并非在所有场合下都正确，可称为部分信念•表示这种信念的最好方法是概率方法•对概率的解释有若干种，其中一种称为主观Bayes主义/要点：概率是个人的一种合理置信度，每个人的估计(概率)虽然各不相同，但应该满足概率的基本规律和其他某些客观规律，因而是合理的第7章不精确推理85.2.1概率及其公理•随机变量•布尔随机变量—定义域=T,F•离散随机变量—定义域=可数域•连续随机变量—定义域=实数集合•原子事件—世界的所有随机变量的特定赋值组合/构成无法确定的世界状态的完整详细描述•如X的世界由weather=sunny,rainy,cloudy,snow和今天是否喝酒drink_today=T,F组成•则有4*2种不同原子事件第7章不精确推理9原子事件的性质(1)原子事件是互斥的：sunny∧drink_today和sunny∧¬dringk_today不能同时成立(2)由所有原子事件组成的集合是穷尽的—至少有一个原子事件一定成立/所有原子事件的逻辑析取=T(3)任何特定的原子事件与每个命题(简单或者复合命题)的真或假一一对应—任何一个表示所在世界状态的命题都可以用原子事件的逻辑联结表示，任何一个命题逻辑上都等价于所有蕴涵该命题真值的原子事件的析取sunny等价于sunny∧drink_today∨sunny∧¬drink_today第7章不精确推理10先验概率的表示•先验概率：没有任何其它信息存在情况下关于某个命题的信度•用向量表示随机变量的先验概率分布•P(weather)=0.7,0.2,0.08,0.02•对于组成世界的离散随机变量全集，使用诸如：P(weather,drink_today)来表示涵盖全集的随机变量集的值的全部组合的概率：全联合概率分布第7章不精确推理11先验概率的表示•全联合概率分布用概率表表示•Pweather,drink_today用4*2表格表示第7章不精确推理sunnyrainycloudysnowDrinkT0.20.150.040.015DrinkF0.50.050.040.00512条件概率的表示•条件概率定义•由此有乘法定理•P(a∧b)=P(a|b)P(b)=P(b|a)P(a)•如果a和b相互独立，则P(a|b)=P(a)P(b|a)=P(b)P(a∧b)=P(a)P(b)第7章不精确推理()(|)()PabPabPb13概率公理•Bayes概率服从如下公理(Kolmogorov公理)：(1)0≤P(a)≤1(2)P(T)=1/P(F)=0(3)P(a∨b)=P(a)+P(b)-P(a∧b)当a/b互斥有P(a∨b)=P(a)+P(b)此为加法定理互斥性也就是独立性•这样的概率公理是不能违反的第7章不精确推理14全概率公式•原子事件的性质：任何命题a等价于所有a在其中成立的原子事件的析取—事件集合记为e(a)•由所有原子事件是互斥的，得到如下全联合概率分布•一个命题的概率等于所有它在其中成立的原子事件的概率和/满足独立性和完全性第7章不精确推理12()()(...)()ikieeaPaPeeePe155.2.2使用全联合概率分布进行推理•全联合概率分布是知识库，从中可得到所有概率的计算—命题在其中成立的所有原子事件的概率和•P(cavity∨toothache)=0.108+0.012+0.072+0.008+0.016+0.064=0.28•P(catch)=0.108+0.016+0.072+0.144=0.34第7章不精确推理toothache¬toothachecatch¬catchcatch¬catchcavity0.1080.0120.0720.008¬cavity0.0160.0640.1440.57616边缘化•上述全概率公式从另一个角度可以视为通用化边缘规则：P(A)=∑zP(A,z)=∑zP(z)P(A|z)•将某个随机变量的分布抽取出来，求和从而得到该变量的无条件概率(或称为边缘概率)/其过程称为边缘化或求和消元(summingout)•用于从多个变量的全概率分布中求取某个变量的概率，进行推理第7章不精确推理1122(Z)(|)()(|)......PPAZPZPAZ17归一化•大多数情况下我们对计算某个变量的条件概率感兴趣：•1/P(toothache)保持不变，可把它看成是保证其所包含的概率相加为1的常数。•引入归一化常数—=1/[p(a)+p(﹁a)]•一般公式：P(X|e)=P(X,e)=yP(X,e,y)（根据全概率公式）•解释为：e固定条件下X/Y遍历所有值，构成此时的所有原子事件()(|)0.6()PcavitytoothachePcavitytoothachePtoothache第7章不精确推理()(|)0.4()PcavitytoothachePcavitytoothachePtoothache18Bayes公式•Bayes公式(也称逆概率公式)从条件概率公式可得在某些场合下引入一个证据e以后，得更通用的Bayes公式(|)()(|)()PabPbPbaPa第7章不精确推理(|,)(|)(|,)(|)PXYePYePYXePXe19逆概率公式的例子•逆概率公式不仅是条件概率公式的一个简单变形，实际上很有用处—如果某个条件概率不便计算，则可以先计算其逆概率，而后算出所要的条件概率•例子：求P(肺炎|咳嗽)可能比较困难，但统计P(咳嗽|肺炎)可能比较容易(因为要上医院)/假设P(肺炎)=1/10000，而P(咳嗽)=1/10，90%的肺炎患者都咳嗽，则P(肺炎|咳嗽)=第7章不精确推理0009.01.00001.09.0)()()|(咳嗽肺炎肺炎咳嗽PPP20修正因子(1)•可以将前面的逆概率公式写成•这说明先验概率P(H)可以通过方括号部分(作为修正因子)修正为后验概率P(H|E)(证据E为真时H的后验概率)•在上面的例子中，医生认为一个人得肺炎的可能性为万分之一，一旦发现患者咳嗽，就将调整为万分之九第7章不精确推理)(])()|([)|(HPEPHEPEHP21修正因子(2)•将E看作证据，先验概率P(E)越小，且H为真时E的条件概率P(E|H)越大，则修正因子所起作用越大•在上例中，如果•P(咳嗽)=0.0001/P(咳嗽|肺炎)=0.9999/P(肺炎)不变•则P(肺炎|咳嗽)=0.9999，远远超过原来的万分之九第7章不精确推理22后验概率递推公式•当有n个互相独立的证据，则有公式•上式可以写成递推公式形式：•上式说明：随着新证据的不断获得，从证据少时的后验概率推出证据多时的后验概率，且每一步都是把上一步的后验概率视为新证据到来时的先验概率)()()|()&&|(111HPEPHEPEEHPniiniin第7章不精确推理)&&|()()|()&&|(11111mmmmEEHPEPHEPEEHP23独立性条件下的推理•使用全联合分布表，可以进行查询(推理)/但只适用于变量少的情况•N个可能证据变量，则相关条件概率的组合数达到2N•条件独立性—一旦某个变量的取值确定下来，则其余变量就相互独立•对于toothache/cavity/catch三者，cavity决定了其余两者，而它们彼此之间无关系•P(toothache∧catch|Cavity)=P(toothache|Cavity)*P(catch|Cavity)第7章不精确推理24条件独立性•给定第3个随机变量Z后，X/Y的条件独立定义为：P(X,Y|Z)=P(X|Z)P(Y|Z)或P(X|Y,Z)=P(X|Z)P(Y|X,Z)=P(Y|Z)•则牙科领域3个随机变量有：•P(Toothache,Catch|Cavity)=P(Toothache|Cavity)P(Catch|Cavity)和•P(Toothache,Cavity,Catch)=P(To,Cat|Cav)P(Cav)=P(To|Cav)P(Cat|Cav)P(Cav)第7章不精确推理25条件独立性的结果•条件概率表(CPT)的分解•原概率表有7个彼此独立的数值(23-1)•新概率表有5个独立数值(2+2+1)•n个变量彼此独立后，表示的规模从O(2n)变为O(n)•条件独立性允许概率系统进行规模的扩展；条件独立性比绝对独立性更容易获得•此结论导致了朴素贝叶斯模型•P(Cause,Effect1,…,Effectn)=(∏P(Ei|C))P(C)第7章不精确推理5.3贝叶斯网络5.3.1贝叶斯网络的表示5.3.2贝叶斯网络中的精确推理5.3.3贝叶斯网络的近似推理第7章不精确推理27贝叶斯网络的由来•全联合概率计算复杂性十分巨大•朴素贝叶斯太过简单•现实需要一种自然、有效的方式来捕捉和推理——不确定性知识•变量之间的独立性和条件独立性可大大减少为了定义全联合概率分布所需的概率数目28贝叶斯网络定义•贝叶斯网络(Bayesiannetwork)是一个有向图，其中每个节点都标注了定量概率信息(1)一个随机变量集合组成网络节点，变量可以是离散的或者连续的(2)一个连接节点对的有向边或者箭头的集合，如果存在从节点X指向节点Y的有向边，则称X是Y的一个父节点(3)每个节点都存在一个条件概率分布P(Xi|Parent(Xi))，量化父节点对该节点的影响(4)图中不存在有向环(是有向无环图DAG)第7章不精确推理295.3.1贝叶斯网络的表示•从一个例子(防盗网)开始第7章不精确推理BurglaryEarthquakeAlarmJohnCallMaryCallP(B).001P(E).002BEP(A)TT.95TF.94FT.29FF.001AP(J)T.90F.05AP(M)T.70F.0130条件概率表•每个节点旁的条件概率表(简称CPT)中的值对应一个条件事件的概率•如P(A)=0.94=P(A|Burglary∧Earthquake)•条件事件是父节点取值的一个可能组合•每行的概率之和应该为1(表中只给出了为真的情况，为假的概率应为1-p)•一个具有k个布尔父节点的布尔变量的条件概率表中有2k个独立的可指定的概率(注意概率值是独立的)•没有父节点的节点的概率只有1行/为先验概率第7章不精确推理31贝叶斯网络语义：全联合概率分布•全联合概率分布的每个条目都可以通过贝叶斯网络的信息计算出来：•联合分布中的某项是对每个变量赋予一个特定值情况下的合取概率•就是条件概率表中适当元素的乘积第7章不精确推理niiinnXparentxPxnxPxXxXP111))(|(),...1(),...,(32链式法则•初始