最大似然估计和贝叶斯估计的相关知识

最大似然估计将参数看作是确定的量，只是其值是未知!通过最大化所观察的样本概率得到最优的参数——用分析方法。贝叶斯方法把参数当成服从某种先验概率分布的随机变量，对样本进行观测的过程，就是把先验概率密度转化成为后验概率密度，使得对于每个新样本，后验概率密度函数在待估参数的真实值附近形成最大尖峰。最大似然估计的优点：1）当样本数目增加时，收敛性质会更好；2）比其他可选择的技术更加简单。基本原理：假设有c类样本，并且：1）每个样本集的样本都是独立同分布的随机变量；2）形式已知但参数未知，例如3）使用训练样本提供的信息估计只和每一类相关。假定D包括n个样本,x1,x2,…,xn：的最大似然估计是通过定义最大化P(D|)的值：注意：对于似然函数P(D|)和条件概率密度函数P(x|)的区别：似然函数P(D|)是关于的函数，而条件概率密度函数P(x|)却是一个以为参数而关于变量x的函数。而且作为一个关于的函数，P(D|)并不表示概率密度，其曲线下的面积没有实际意义。最优估计：令并令为梯度算子(thegradientoperator)我们定义l()为对数似然函数：l()=lnP(D|)显然其依赖样本集D：最优求解条件如下:令：来求解求得以后，则可以根据求，再求；3.3贝叶斯估计区别于最大似然估计：1）在最大似然估计中被假定为固定值2）在贝叶斯估计中是随机变量3.3.1类条件密度1()ln(|)nkklPx1()ln(|)()0nkklPxl目标:计算假设样本为D，贝叶斯方程可以写成：先验概率通常可以事先获得，因此每个样本只依赖于所属的类，有：即：只要在每类中，独立计算就可确定x类别。1(|,).(|)(|,)(|,).(|)iiicjjjPxDPDPxDPxDPD1(|,)(|,)(|,).()(|,)(|,).()iiiiiiicjjjjPxDPxDPxDPPxDPxDP