第23章 基于Bayes的数据预测

第二十三章MATLAB优化算法案例分析与应用第23章基于Bayes的数据预测第二十三章MATLAB优化算法案例分析与应用•23.1贝叶斯统计方法贝叶斯统计方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法。贝叶斯统计方法不同于经典统计方法。经典统计方法只利用两种信息：一是模型信息，二是样本信息。然而贝叶斯统计方法的核心是贝叶斯公式。1963年，贝叶斯提出了贝叶斯公式：1|||iiiniiiPBAPAPABPBAPA事件B的发生总是与A1，A2，……，An之一同时发生。贝叶斯公式是在观察到事件B已经发生的条件下，寻找导致B发生的每个原因的概率。第二十三章MATLAB优化算法案例分析与应用•23.1贝叶斯统计方法1|||iiiniiiPBAPAPABPBAPA在该公式中，直观地将看作是导致随机事件B发生的各种可能原因，则可以理解为随机事件发生的先验概率（APrioriProbability）。如果我们知道随机事件B发生这个新信息，则它可用于对事件发生的概率进行重新的估计。事件就是知道了新信息“A发生”后对于事件发生概率的重新认识，称为随机事件的后验概率（APosterioriProbability）。iAiPAiAiAiPAiAiA第二十三章MATLAB优化算法案例分析与应用•23.1贝叶斯统计方法贝叶斯学派认为，后验概率分布综合了样本信息x及先验概率分布，因此抽样的全部目的是完成由先验概率分布到后验概率分布的转换，从而完成对事件A认识的改变。此过程如图23-1所示。PA图23-1贝叶斯统计方法第二十三章MATLAB优化算法案例分析与应用•23.1贝叶斯统计方法贝叶斯统计方法在统计过程中用到了先验概率分布，即决策者的主观因素。可以说在统计过程中是否使用先验概率分布是区分贝叶斯统计方法和非贝叶斯统计方法的标志。使用不同的先验概率分布对后验概率分布的确定是有影响的。但是贝叶斯学派已经证明，开始时不管使用什么样的先验概率分布，随着实验次数的增多，后验概率分布对初始先验概率分布的依赖会越来越小，后验概率分布最终趋于一致。贝叶斯统计方法归纳如下：（1）将未知参数看成随机变量（或者随机向量），记它为，于是当已知时，样本的联合分布密度就看成是，对的条件密度，记为或者简写为；123,,,,;npxxxx123,,,,|npxxxx|px第二十三章MATLAB优化算法案例分析与应用•23.1贝叶斯统计方法（2）用表示的先验分布，一般根据以往对参数知识来确定先验分布（经常用于表示先验知识），如果没有关于先验参数先验知识，应采用在取值范围内的均匀分布（也被成为贝叶斯假设），这也是贝叶斯统计方法中最容易引起争议的一步；（3）利用先验分布和条件分布密度，可以求出与的联合分布以及样本数据，，，……的分布，于是就可以利用二者求得对，，，……，的条件分布密度，也就是利用贝叶斯公式求得后验分布密度的过程；（4）利用后验分布密度做出对的推断（估计或者对作检验），则123,,,,|npxxxx123,,,,|npxxxx123,,,,|npxxxx123123123,,,,||,,,,,,,,nnnpxxxxpxxxxpxxxx第二十三章MATLAB优化算法案例分析与应用•23.2贝叶斯预测方法贝叶斯（Bayes）预测是一种以贝叶斯统计方法为基础、以贝叶斯定理为理论依据，以动态模型为研究对象的时间序列预测方法。贝叶斯（Bayes）预测方法在统计推断中不仅仅使用了模型信息及样本数据信息，还使用了先验概率分布信息，这也是不同于非贝叶斯统计预测的标志。贝叶斯预测在预测过程中，对总体分布的未知参数预先规定一个先验概率分布，此概率分布可以是根据以前的数据、经验给出，也可以是完全根据决策者的主观意识给出。这样将先验概率分布、总体分布、样本信息通过贝叶斯定理（贝叶斯公式）就可以得到后验概率分布，通过后验概率分布对预测目标进行预测。其一般模式可用图23-2表示。第二十三章MATLAB优化算法案例分析与应用•23.2贝叶斯预测方法贝叶斯统计预测方法与经典的统计预测方法有一个很大的区别，经典的统计预测方法总是根据过去的数据信息，建立统计预测模型，产生常规预测结果，是以纯粹的机械形式将输入信息转化为输出信息，因此，经典的统计预测方法不能处理异常情况的发生。然而贝叶斯统计预测方法不仅仅利用过去的数据信息，还利用了人们对预测的主观认识。人对预测有主观认识或经验认识，贝叶斯统计预测利用贝叶斯公式将人们对预测的主观认识或经验认识与先验信息综合，得到后验信息，所以后验信息不仅仅包含先验信息，还体现了人们的主观认识，因此贝叶斯预测能够处理异常情况的发生。所谓的异常情况或例外情况一般有两种情况。第二十三章MATLAB优化算法案例分析与应用•23.2贝叶斯预测方法第二种情况则是在预测过程中，异常情况的发生是不可预测的，对这种情况通常采用监控的方法来处理预测模型。贝叶斯统计预测按照例外管理原则处理第二种异常情况发生的框架图如图23-3所示。第二十三章MATLAB优化算法案例分析与应用•23.2贝叶斯预测方法贝叶斯预测递推算法的框架如图23-4所示。第二十三章MATLAB优化算法案例分析与应用•23.3贝叶斯网络的数据预测贝叶斯网络作为机器学习的一个分支，在处理不确定问题以及复杂系统中多因素间的相互依赖问题时，它具有推论和可视化两方面的独一无二的强壮性。而航班延误正是一个这样的问题，直接影响航班延误的因素有很多，产生延误的间接影响因素较多，部分因素之间还有一定的依赖关系。故贝叶斯网络可作为分析和预测航班延误的方法和手段。近年来，随着我国经济和居民生活水平的高速增长，中国民航目前正处于快速发展的黄金时期。航班量增多、航班密度逐步加大，许多资源配置的矛盾也日益凸显出来。空域、机场资源难以满足日益增长的航班量，再辅以天气等诸多影响航班正常运行的因素，机场大面积航班延误难以避免。为了提供较为可靠的航班延误分析，在一定程度上能为机场和航空公司提供某种因素情况下的航班延误预警，为相关单位提前做好大面积航班延误的准备工作提供参考，采用基于贝叶斯网络的数据预测算法。造成航班延误的因素众多，航班延误的因素按其属性可以分为四大类:航空公司原因、机场管理原因、航空管制原因、以及旅客原因等。根据航班延误因素，大致可分析归纳于如图23-5航班延误指标图所示。第二十三章MATLAB优化算法案例分析与应用•23.3贝叶斯网络的数据预测第二十三章MATLAB优化算法案例分析与应用•23.3贝叶斯网络的数据预测10203040506070809010000.10.20.3原始数据---用于训练网络---103组数据---实际延误率10203040506070809010000.10.20.3贝叶斯网络训练结果---预测延误率图23-6实际延误率第二十三章MATLAB优化算法案例分析与应用•23.3贝叶斯网络的数据预测图23-6实际延误率10203040506070809010000.10.20.3输入待检验的数据，实际结果10203040506070809010000.10.20.3贝叶斯网络训练结果第二十三章MATLAB优化算法案例分析与应用•23.4基于贝叶斯网络模式识别应用手写数字虽然只有10个种类，但很多情况下，对识别的精度要求很高，而且变动性非常大。本节提出的基于贝叶斯网络的手写数字识别模型识别精度较高，可以达到实际应用的要求，对手写数字识别的研究具有一定的参考价值。第二十三章MATLAB优化算法案例分析与应用•23.4基于贝叶斯网络模式识别应用%****************创建朴素贝叶斯分类器对象*************************%创建朴素贝叶斯分类器对象ObjBayesObjBayes=NaiveBayes.fit(training,group,'Distribution','mn')%***********************对训练样本图片进行判别*************************%利用所创建的朴素贝叶斯分类器对象ObjBayes，对训练样本图片进行判别pre0=ObjBayes.predict(training);isequal(pre0,group)%判断判别结果pre0与分组向量group是否相等%**********************对检验样本图片进行判别*************************%利用所创建的朴素贝叶斯分类器对象ObjBayes，对检验样本图片进行判别pre1=ObjBayes.predict(sampledata);%查看判别结果[samplegroup,pre1]%第一列为真实组，第二列为判归的组第二十三章MATLAB优化算法案例分析与应用•23.4基于贝叶斯网络模式识别应用ans=000000111111222222333333444444555555666666777777888888999999