贝叶斯网络建模技术

大纲•表格生成器•连续节点•中介变量•无定向关系•测量误差•简单贝叶斯模型•因果影响的独立•父级分离•专家异议、结构的不确定、功能的不确定•反转弧和节点吸收•功能节点2=(G,P)由以下组成：•一组变量和一组在变量间的有向边•变量与定向一起形成DAG•每个变量都有一组有限状态集•附属于每个变量的X与它们的父级Y1,…,Yn，有一个条件概率表格P(X|Y1,…，Yn)3表格生成器•如果CPT是低维数的，那么知识获取可由专家评判执行–域知识和经验•表格生成器是一个与其父级相关点的数学描述CPT/UT的生成工具•它是一种指定CPTs和UTs紧凑描述描述的一种方法–统计分布，算子和逻辑运算符以及它们之间的关系•也是一种知识规范的有效工具，而不是值的引出工具4离散机会节点的子类型在表达式中使用不同的算子有不同的返回类型和不同的参数类型要求•标记的节点可用于等式比较并表示确定性关系–状态：红，蓝，low–功能：如果-那么，分配•布尔运算节点可以代表真实值“错误”或者“正确”（在该命令下），也可作为逻辑运算符–状态：错误，正确–功能：和，或者，否，…，，，==，！=，…，Noisy-OR5离散机会节点的子类型•已编好的节点数代表增加数字数列（整数或实数）和可以用于算术运算符，数学函数等–状态：-∞，…，-2.2，-1.5，0，1，2，3，…，∞–功能：二项式，几何，负二项式，泊松比，+，-，*，/，…•间隔节点表示实线不相交，可用于已编好的节点。此外，当指定的连续量的时间间隔离散时，可以使用他们–状态：[-∞；-10]，[-10；-5]，[-5；-1]–功能：β，γ，e，正态，…，二项式，几何，负二项式，泊松，+，-，*，/，…6在表格生成器备注•表达式取决于模型节点的配置–设X，A，B，C是3个布尔变量–设X为A，B，C的父集–当A为真，X=B∩C，当A为假，X=B∪C•当父集包含用于间隔节点样本值•手册中描述语法的表达式–前缀表示法7表格生成器练习•在预测掷n次骰子时，能够掷出几次6的问题。不幸的是，我们不知道骰子是真的还是假的。如果是假的，那么平均每掷5次会出现一次6。•建立一个模型来估计掷n次骰子时能够掷出几次6的次数，其中n是一个从1到10的数字8连续的节点•设Y是一个连续随机变量，有离散父级I和连续父级Z–Y（和Z）我们假设高斯分布（正态分布）父级的条件值–其中这个就是称为CG分布9模型的限制•Y是线性条件高斯分布：•其中•注意：–平均值线性取决于连续的父级–方差不取决于连续的父级–线性函数和方差取决于离散的父级•这些限制确保精确推理成为可能•被称为线性条件高斯贝叶斯网格10温度•通过使用一个可选择低、中、高温度的简单空调系统，在一个房间里温度可调节。假设实际温度以1度的方差正态分布，意味着分别相当于18，20和22度。在房间里面，使用不同质量的温度计（高或者低）测量温度。低质量的温度计有0.5的方差，而质量好的温度计只有0.1的方差。假设在测量中加入了平均值为1，方差为0.1的噪声。•在房间里建立对温度的推理模型11通过人工智能和数学课堂假设每学期，上一次数学而上两次人工智能。参加学习班学生的人数取决于科目。平均每120名学生选用人工智能课（σ2=500），而每180名学生选择数学课（σ2=1000）。假设平均25%通过人工智能考试（σ2=400），平均50%通过数学考试（σ2=500）。假设考试已经完成。–预测通过考试的学生数是多少？–预测通过数学考试的学生数是多少？–当80个学生通过考试，预测参加数学考试的学生数是多少？12功能•CLG模型不允许连续节点的离散子级•HUGINGUI实现了一个简单的过程，支持从一个连续节点Y到离散节点D的链接–D必须是状态从信息到信息的间隔节点–D可以没有其它父级–证据只可以在指定方向传播链接–在证据的传播间，Y的边缘分布被设定为D的表达。•这种功能应该格外小心使用。13变量的目的贝叶斯网格是一组变量集的知识表示。不同的变量有不同的用途。•假设：想要的是事后概率不易察觉的变量•例如：分类和诊断变量•信息：可观察的变量是有效的，可以提供与假设变量相关的信息。•例如：传感器读数，背景信息，测试结果•中介：事后概率不可观察变量是不想要的，但其未到达目标发挥重要重要作用。–正确的条件独立和依赖性能。–高效地推理14中介变量•中介变量对于获得正确的条件独立和依赖属性是非常重要的•例如：激素状态：验血（BT）和尿液测试（UT）是独立的怀孕状态（Pr）•没有Ho变量的模型是错误的，因为Ho变量没有决定性取决于Pr，并且BT和UT是独立给予Ho的15中介变量在这种扑克游戏中，每个玩家收到三张牌，并且允许改变牌两轮，在第一轮（FC），你可能会放弃你手中的任何一张牌，从这副牌中取一张。在第二轮中（SC），你最多放弃两张牌，并从这副牌中取两张。两轮结束后，我会有兴趣对对手手上的牌估计一下（OH）。16一个简单的例子：约束我在洗衣机里面洗了两双袜子。由于洗了很久，因此很难区分出这俩双袜子。然而，有这两双袜子有两种类型款式和两种不同颜色，用款式和颜色来区分袜子，是将它们区分正确重要的方法。•款式和颜色之间是无定向关系。17一个简单的例子：约束我们有四个项目，S1，…，S4，其中Sp(Si)={t1，t2}，这样两个项目必须成为类型t1，另外两个成为t2•这种约束可以在带有开或关的状态的子变量C的CPT编码。•通过实例化C，约束强制执行。18（A，B，C）在数值上为直接关系R（a，b，c）∈{0,1}•引进带有yes和no两种状态的变量D•设P（D=yes|A，B，C）=R（A，B，C）•设P（D=no|A，B，C）=1-R（A，B，C）•当D=yes得R(A，B，C)=119测量误差往往，一个信息变量的真实值---I，它不能由于测量误差获得。•通过引入一个新的变量，测量误差被建模。成为OI，代表I的观测值。–测量误差的大小用P(OI|I)代表–I变成调节变量，是不可观测的。•我们需要明确地表示出模型中A的估计精度20测量误差：实例假设t1类型的袜子是以颜色c1和款式p1为特征，t2类型的袜子以颜色c2（c2≠c1）和款式p2（p2≠p1）•经过几次清洗之后：–c1被误认为是c2有十分之三的概率–c2被误认为是c1有十分之二的概率–p1被误认为是p2有百分之二的概率–p2一直被识别正确•模型如下：–P(OC=c2|C=c1)=0.3–P(OC=c1|C=c2)=0.2–P(OP=p2|P=p1)=0.02–P(OP=p1|P=p2)=021简单贝叶斯模型以下类型的分类任务与任务的一个非常适合的模型•假设对h1，…，hn有兴趣•假设他们之间完全穷尽且互相排斥•结果指标I1，…，Im去预测hi•结果是有条件独立给出的假设22简单贝叶斯模型的表示计算和代表一个有效的模型能在很多情况下能提供好的结果•h1，…，hn被表示出和假设变量H的状态一样•信息变量I1，…，Im是变量H的子级•基本假设是当变量H已知时，I1，…，Im是两两独立假设在实际中不成立，结论可能被误解。23简单贝叶斯模型更详细的简单贝叶斯模型•设可能的假设，收集到一个带有优先假设P(H)的假设变量H中•对于每个信息变量I，得到P(I|H)=L(H|I)•对于任意观察设置计算：•其次，其中，或者表示通过贝叶斯规则24男孩或女孩悖论•两个孩子的家庭，至少有一个是男孩的被选中•有一个女孩的概率是多少？–我们假设每个孩子的性别的决定是独立性事件，孩子可能是男孩或者女孩，并且每个孩子有相同的机会成为男性或者女性。•Foshee周二男孩–我有两个孩子，一个是周二出生的男孩，那么我的两个孩子都是男孩的概率是多少？25依赖发现•假设是完全穷尽和互相排斥•结果不是条件独立给定假设26因果影响的独立性•头痛（Ha）可能由于发热（Fe）、宿醉（Ho）、纤维组织炎（Fb）、脑肿瘤（Bt）以及其他原因（Ot）引起。各种原因都能够引起头痛，但是它们之间相互独立。•如果头痛级别为I，然后增加能独立导致头痛级别q的原因，看如何能到达级别I27因果影响的独立性•增加额外原因，线性时间评估•因果关系的独立性假设28因果影响的独立性•利用关于CPTs的内部结构的知识来减少表示和推理的复杂性•从Ci到E的贡献被认为是Cj贡献的独立•注意：必须有一个状态命令且（序变量）29假设感冒和咽喉痛的因果影响可以认为是独立的。另外，假设有一个“背景”事件，可能导致喉咙变痛•“背景”事件导致咽喉痛有0.05的可能性•感冒导致咽喉痛的概率有0.4且P(Cold)=0.1•心绞痛导致咽喉痛有0.7可能切P(Angina)=0.05P(sore|cold,angina)是noisy-OR功能:•对于每种原因，我们只需要指定一个指定的号码，成为抑制剂概率。举例，我们的抑制剂概率为0.95，0.6和0.3•属性参数的数目与父级数目线性增长30交互模型•设X1,X2是影响变量Y和让所有变量成为布尔的原因31因果关系影响的独立性必须满足以下条件•X1，…，Xn，Y表明异常存在的程度（状态的顺序）•事件Xi引起Y与pi的影响•在实践中没有显著的共同作用•通过以上假设，ICI可以接近真实的CPT•距离测量欧几里德，KL具有其他功能而不是分离，例如：noisy-Max32父级分离•设X1，…，Xn是Y的原因列表•指定P(Y||X1，…，Xn)涉及到一个非常大的需求获取任务•通过中间变量C，可能使分离父级•考虑到头痛的原因或者约束情况33父级分离•设X1，…，Xn成为Y的原因的列表：•假设，（X1，X2）的配置可以分成c1，…，cm(X1，X2)，(x’1，x’2)∈ci适用于所有的y：P(y|x1，x2，x3，…，xn)=P(y|x’1，x’2，x’3，…，x’n)•如果|C|＜|X1|*|X2|，则PD（表示）是有效的34专家意见•假设你拥有许多专家e1，…，em•所有的都认为P(Y|X1，…，Xn)–P(Y|X1，…，Xn，…，ei)，对