第4章-参数估计统计决策法

模式识别PatternClassification第四章:参数估计统计决策法模式识别，第四章3统计决策法Bayes决策法参数估计法非参数估计法线性判别函数概率方法几何方法聚类分析非线性判别函数参数估计模式识别，第四章4参数估计•原理•对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。•参数估计法即是利用学习样本来估计类概率密度函数参数的方法。模式识别，第四章5参数估计参数估计法最大似然估计法Bayes估计法两种方法原理不同，但结果是一致的！模式识别，第四章6参数估计•原理•最大似然估计法：将待估参数视为确定的未知量进行估计•Bayes估计法：将待估参数视为随机变量进行估计模式识别，第四章7最大似然估计法（ML）•已知条件拥有一批已知类别的学习样本，并知第j类的类概率密度的函数形式，参数未知。•问题由学习样本估计最佳参数。},,,{21)(njXXXX)/(jXp)(jX模式识别，第四章8最大似然估计法•解决方案模式识别，第四章9最大似然估计法•解决方案模式识别，第四章10B最大似然估计法•设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值μ•可以看出，μ取A和B对似然函数的影响61)/(kkXp由于μ取B时似然函数更大，参数B优于AP(x/μ)xAμ=Bμ=A模式识别，第四章11最大似然估计法P(x/θ)模式识别，第四章12最大似然估计法•设有6个学习样本如下图所示，样本分布满足正态分布，且均值已知，现需估计最佳的方差•可以看出，的变化对似然函数的影响P(x/σ)xσ1σ261)/(kkXp参数σ1优于σ2模式识别，第四章13最大似然估计法•如何寻求最优参数？模式识别，第四章14•解决方案•用求极值的方法求最佳θ值为计算方便，对似然函数求自然对数:最大似然估计法nkknkkXpXp11)/(ln)/(ln模式识别，第四章15最大似然估计法•解决方案定义梯度算子▽为：r21模式识别，第四章16最大似然估计法•解决方案则令：0])/(ln[1nkkXp模式识别，第四章17最大似然估计法•解决方案即：可得到r个关于参数θ的方程组，求解方程组，即可求得最佳估计值。0)/(ln121nkkrXp模式识别，第四章18最大似然估计法•例一：设样本满足一维正态分布，现已知n个学习样本，试用最大似然估计法估计其均值μ和方差σ２。解：对于一维正态分布待估参数为其中22)(21exp21)/(xxpj},{21221,模式识别，第四章19最大似然估计法可记为:则似然函数为：2212)(21exp21)/(xxpnkknkkxxp121221)(212ln21)/(ln模式识别，第四章20最大似然估计法令:即:0)/(ln1nkkxp0)/(ln0)/(ln1211nkknkkxpxp模式识别，第四章21最大似然估计法得:解得:0)2)(21(0)(1122212112nkknkkxxnkkxn1112122)(1nkkxn0)2)(21(0)(1122212112nkknkkxx模式识别，第四章22最大似然估计法•例二：设样本满足d维正态分布，其中协方差矩阵Σ已知，且已知n个学习样本，试用最大似然估计法估计均值向量μ。模式识别，第四章23最大似然估计法•解：样本满足正态分布，则似然函数)()(21exp)2(1)/(1212XXXpTdinkkTknkkXXdXp111)()(21ln212ln2)/(ln模式识别，第四章24最大似然估计法协方差矩阵已知，仅有一个待参数均值向量，即θ=μ令得：0)/(ln1nkkXp0)(11nkkX模式识别，第四章25最大似然估计法即：可得θ=μ的最佳估计值为：即最佳均值向量是n个学习样本的重心（算数平均）。0)(1nkkXnkkXn11最佳估计值模式识别，第四章26最大似然估计法•例三:设为多维正态分布，现已知n个学习样本，试用最大似然估计法估计和。解:与前述方法相同，即：),()/(NXpj)()(21exp)2(1)/(1212XXXpTd模式识别，第四章27最大似然估计法似然函数令:nkkTknkkXXdXp111)()(21ln212ln2)/(ln0)/(ln1nkkXp模式识别，第四章28最大似然估计法得:nkkXn112222122222221212122111))((1ddddddnkTkkXXn模式识别，第四章29最大似然估计法•基于最大似然估计法的分类器设计•确定样本类概率密度函数形式•确定待估参数•根据学习样本，用最大似然估计法估计概率密度函数的参数•估计样本先验概率•用Bayes方法设计分类器)/(Xp)(jp模式识别，第四章30Bayes估计•原理：将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。模式识别，第四章31Bayes估计•实现过程•将待估参数视为随机变量，并由先验知识得到粗略分布)(pP(θ)θ模式识别，第四章32Bayes估计•为已知函数形式的类概率密度，待估，且知n个学习样本，记为，j为类别。•由Bayes公式有：其中为后验概率，表示在观察了n个学习样本后对的修正分布。)/(Xp},,,{21)(njXXXX)()()/()/()()()(jjjXppXpXp)/()(jXp)(jX)(p模式识别，第四章33Bayes估计)/()(jXp)(pn0模式识别，第四章34Bayes估计表示在参数为的条件下，n个样本出现的概率。为待估随机参数的先验概率分布。与无关，可用系数代替即：)/()(jXp)(jX)(pdpXpXpjj)()/()()()()()/()/()()(pXPXpjj)()()/()/()()()(jjjXppXpXp模式识别，第四章35Bayes估计显然，由于n个学习样本是独立抽取的，则可得：nkkjXPXp1)()/()/()()/()/(1)(pXPXpnkkj观察了n个样本后θ的修正分布模式识别，第四章36Bayes估计•合理的估计方法是：在修正的分布中，使得取值最大的值即是的最佳估计值。)/()(jXp)/()(jXp模式识别，第四章37Bayes估计)/()(jXp)(pn0模式识别，第四章38Bayes估计•例：已知类概率密度为一维正态分布，其中方差已知，均值参数待估。试用Bayes估计法估计均值2模式识别，第四章39Bayes估计•解：对一维正态分布22)(21exp21)/()/(xxpxp)/(xpx模式识别，第四章40Bayes估计首先，将待估参数μ视为随机变量，并具有一定的初始分布。假设其具有正态分布：),()(21exp21)(20020200Np模式识别，第四章41Bayes估计)(p0模式识别，第四章42Bayes估计观察了n个学习样本后，μ的后验概率(修正分布)为：22120200221)()(21exp21)(21exp21)(21exp21)()/()/(nnnnkknkkjxpxpXp模式识别，第四章43Bayes估计)(p)/()(jXp0n模式识别，第四章44Bayes估计可见：修正后μ的分布仍为正态分布！其均值为μn，方差为其中：0220222020nmnnnnnkknXnm112n模式识别，第四章45Bayes估计即：μn表示在观察了一组样本后，对μ的最好的推断则反映了这个推断的不确定性!2202202022021220201nnXnnnnnkkn2n模式识别，第四章46Bayes估计)(p)/()(jXp0n模式识别，第四章47Bayes估计•待估的最佳均值μ=？•答案：μ=μn模式识别，第四章48Bayes估计•考虑样本数对估计值的影响当时,Bayes估计与最大似然估计的结果相同!nkknXn11n02n2202202022021220201nnXnnnnnkknn模式识别，第四章49Bayes估计此时,为冲激函数。即随着样本数的增加，μ的初始分布p(μ)对μ的估计影响越来越小。反映了对参数μ估计的不确定性，当时，)/()(jXp2nn02n)/()(jXpn2n02n)/()(jXpn模式识别，第四章50Bayes估计