计算机模式识别文献阅读.

上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法上海大学通信与信息工程学院电路与系统专业课程：计算机模式识别课题：集成学习与Adaboost算法学院：通信与信息工程学院学号：学生姓名：上课老师：学期：春2015上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法集成学习理论Adaboost算法原理论文分析[1].TheHumanFaceDetectionAlgorithmsBasedonAdaBoost[2].FaceDetectionBasedonSkinColorSegmentationandAdaBoostAlgorithm目录：上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法1.0集成学习术语强分类器:如果一个学习算法通过一组样本的学习后，能够达到理想的识别率。弱分类器:如果一个学习算法的识别率仅好于随机的猜测。§1集成学习理论上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法1.1集成学习动机在机器学习中，直接建立一个高性能的分类器是很困难的。但是，如果能找到一系列性能较差的分类器，并把它们集成起来的话，也许就能得到更好的分类器。譬如选总统，每个人都以自己的考虑，投下自己的一票，但最后由多数人选出的总统，似乎应该好于由一个人指定的总统。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法集成学习，就是一种把输入送入多个学习器，再通过某种办法把学习的结果集成起来的办法。1.2集成学习概念ClassifierensembleΣαihi(x)hn(x)h2(x)h1(x)InputvectorClassifier1Classifier2……ClassifierNCombineClassifiersOutputx弱分类器上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法1.3集成学习构造我们一般选定加权平均的方法来构造集成学习的最终学习器。但是里面的每一个Classifieri怎样做呢？有一些研究，针对每个学习器都不同构的情况。比如识别一个人，一个学习器考虑脸，另一个考虑步态，另一个考虑指纹，这种研究通常称为InformationFusion。另一种方法是用同样的学习算法来构造不同的弱学习器的方法。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法1.3集成学习构造改变训练集：根据训练集的不同，会给出不同的学习器。这时就可以通过改变训练集来构造不同的学习器。然后再把它们集成起来。【办法】随机采样：在原来的训练集上随机采样，可以得到新的训练集。【手段】加权采样：通过给训练数据赋以不同的权，实际上使得每个学习器关注训练集中的某一部分，这也符合我们最初民主投票的想法。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法1.3集成学习构造直观上，每个学习器关注训练集中的某一部分，很多个训练集应该可以覆盖训练集中的大部分，只要巧妙的选择加权平均的权，就可以得到更好的学习效果。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法期望结果个体1(精度33.3%)个体2(精度33.3%)个体3(精度33.3%)集成(精度33.3%)投票个体必须有差异期望结果个体1(精度33.3%)个体2(精度33.3%)个体3(精度33.3%)集成(精度0%)投票个体精度不能太低1.3集成学习构造【集成学习对个体有要求么？】上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法1.3集成学习构造【个体越多越好吗？】既然多个个体的集成比单个个体更好，那么是不是个体越多越好?更多的个体意味着：（1）在预测时需要更大的计算开销，因为要计算更多的个体预。（2）更大的存储开销，因为有更多的个体需要保存个体的增加将使得个体间的差异越来越难以获得上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法1.3集成学习构造【总结】集成学习实际上代表了一种与传统不同的思维理念。传统的机器学习一般都自认为是单模型的，对于模型的分析总是在整体上完成，如：BP和SVM等。但是，所有这些模型其实都可以看作是一种加权平均的多模型。所以，当然应该考虑研究一般的多模型。在算法上，集成学习的典型代表AdaBoost算法，已经成为与SVM并立的方法。而且，集成学习比SVM更为一般，可能可以有更广阔的前景。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法§2AdaBoost算法2.1AdaBoost来源通常，针对一个具体的识别问题，我们很难找到一个理想的强分类器，但是弱分类器一般都会很多，基于这种现象，Freund和Schapire提出了Adaboosting算法：通过一定的算法可以将一组弱分类器提升为一个强分类器。Adaboost算法是一种用来分类的方法，它的基本原理就是“三个臭皮匠，顶个诸葛亮”。它把一些比较弱的分类方法合在一起，组合出新的很强的分类方法。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法2.2AdaBoost算法主要思想针对同一个训练集训练不同的分类器（弱分类器），然后将这些弱分类器集合起来构成一个更强的最终分类器（强分类器）。初始化的时候对每一个训练样本都赋予相同的权重，然后用该学习算法对训练集训练T轮，每次训练后，对训练失败的训练样本赋予较大的权重，在训练过程中会生成的一个预测函数hj，其中hj也有一定的权重，预测效果好的预测函数权重大。最终预测函数H用加权多数投票的方法产生。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法2.3AdaBoost算法描述输入：一组训练集：，其中为样本描述，为样本标识，；其中0，1分别表示正例子和反例。在人脸检测中，可以定义0为非人脸，1为人脸。初始化：初始样本权值设为。对，循环执行下面的步骤：（1）归一化权重：11(,),...,(,)nnxyxyixiy(0,1)iy1,1jwn1,2,...,tT,,,1titintjjwqw上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法（2）对每个特征f，训练一个弱分类器；计算所有特征的弱分类器的加权错误率（3）选取最佳弱分类器，按最小错误率。（4）按照这个最佳弱分类器，调整权重：，其中表示被正确分类，表示被错误分类。2.3AdaBoost算法描述(,)hxf|(,)|fiiiqhxfy()thxmin|(,)||(,)|ffiiitiiiqhxfyqhxfy()(,)tthxhxf11,,ietititww1ttt0ieix1ieix上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法（5）最后的强分类器为：其中。2.3AdaBoost算法描述1111()()20TTttttthxCx其他1logtt上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法2.3AdaBoost算法描述例如在下图中，需要一些线段把红色的球和深蓝色的球分开，然如仅果仅用一条线的话，是分不开的。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法调整权重调整权重调整权重弱分类器一弱分类器二弱分类器三最终强分类器2.3AdaBoost算法描述上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost§3论文分析讲解作为人脸信息处理中的一项关键技术，人脸检测的应用背景已经远远超过了人脸人脸识别的范畴，在身份验证、基于内容的图像检索、数字视频处理、视觉监控等方面有着重要的应用价值。近年来出现大量的人脸检测算法，其中Viola和Jone2001年提出的Adaboost算法是第一个实时的人脸检测算法。【背景】Adaboost人脸检测算法是一种基于积分图、级联检测器和Adaboost算法的方法。通过将大量分类能力一般的弱分类器通过一定的方法叠加起来，构成一个分类能力强的强分类器；再将若干个强分类器串联成为分级分类器来完成人脸的搜索检测。【算法思想】上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost【1】人脸特征选择---Haar-like特征【算法步骤】【2】人脸特征计算---积分图【3】分类函数学习【4】级联检测器进行人脸检测上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法3.1.1Haar-like特征Haar-like特征：是用一种类似Haar小波的方法来形成人脸特征的。典型的矩阵特征由2到4个矩形组成，分别对应于边界、细线/棒或者对角线特征，见下图。对应的矩形特征的特征值定义为白色矩形内的像素和减去黑色矩形内的像素和。在基于Adaboost的人脸检测系统中，每个弱分类器都是对图像一个特征值的判断，常用的特征是Haar-like特征。3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法积分图是一种快速计算矩形特征（Haar-like）的方法。在一张积分图上，点i(x,y)的积分值ii(x,y)是原图像上该点的上方和左方所有点的亮度值的和。即：其中ii(x,y)为积分图，i(x,y)为原始图像，如下图所示。'''',(,)(,)xxyyiixyixy3.1.2积分图3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法当采用下面两式，只需对原图像扫描一次即可计算出积分图：其中，，是对这一行及其以前行的像素值求和，并且有：(,)(1,)(,)iixyiixysxy(,)(,1)(,)sxysxyixy''(,)(,)xxsxyixy(,1)0,(1,)0sxiiy3.1.2积分图3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost有了积分图，矩形特征值就可以通过很少的计算量得到。任意一个矩形内的像素和可以由积分图上对应的四点得到。由此可见，矩形特征的特征值的计算，只与此特征的端点的积分图有关，而与图像的坐标值无关。所以积分图的引入，大大提高了检测速度。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法采用Adaboost算法对人脸特征数据进行训练，经过T轮训练，将T个弱分类器并联形成强分类器。（详细过程见AdaBoost算法原理）3.1.3分类函数学习3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法将强分类器串联在一起形成级联检测器，每层的强分类器经过阈值调整，使得每一层都能让几乎全部的人脸样本通过，而拒绝很大部分非人脸样本。3.1.4级联检测器进行人脸检测3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost由于前面的层使用的矩形特征数据很少，计算非常快，越往后匹配的图片越少。尽管随着级数的增多矩形特征数量在增加，但计算量却在减少，检测速度在加快，具有实时性。上海大学通信与信息工程学院电路与系统专业集成学习与Adaboost算法3.1TheHumanFaceDetectionAlgorithmsBasedonAdaBoost在确定了特征形式后，