常见分布与共轭分布

常见分布与共轭分布主讲人：华老师第二章录CONTENTS1二值变量的概率分布2多项式变量的概率分布3高斯分布4共轭分布01Pleaseinputyourtexthere,pleaseinputyourtexthere.二值变量的概率分布伯努利分布（Bernoullidistribution）假设一个二元随机变量x∈{0,1}，用参数μ表示x=1的概率为：Ρ(x=1|μ)=μ。概率分布函数期望log似然函数为：其中，D={x1,…..xN}表示变量x的观测值。得到的最大似然估计值为：二项分布（Binomialdistribution）假设一个二元随机变量x∈{0,1}，用参数μ表示x=1的概率为：Ρ(x=1|μ)=μ。概率分布函数：期望：方差：注：对于小的数据集，如果对二项分布采用极大似然估计，会得到过拟合（over-fitting）的估计结果。可以采用贝叶斯方法，引入共轭先验分布（conjugatepriordistribution）来解决这个问题。共轭先验是指，选取一个与似然函数共轭的先验分布，使得后验分布与先验分布有同样的函数形式。其中，二项分布的共轭先验是Beta分布。Beta分布假设一个二元随机变量x∈{0,1}，用参数μ表示x=1的概率为：Ρ(x=1|μ)=μ。概率分布函数：期望：方差：采用贝叶斯方法，将Beta先验乘以二项分布似然函数，得到后验分布如下：多项式分布（Multinomialdistribution）狄利克雷分布（Dirichletdistribution）2多项式变量的概率分布多项式变量的概率分布多项式变量可以取多种结果中的一种，而二值变量只能取两种结果中的一种。假设变量x可以取K=6种结果，若x的某一次观测值为第三种结果(x3=1)，则可以将x表示为X=（0,0,0,1,0,0,0）T。另外，用参数μk表示xk=1的概率：（1）多项式分布（Multinomialdistribution）概率函数为：（其中，表示数据集中出现第k种结果的次数；）（2）狄利克雷分布（Dirichletdistribution）狄利克雷分布是多项式分布的共轭先验分布。概率分布函数如下：采用贝叶斯方法，得到后验分布如下：03Pleaseinputyourtexthere,pleaseinputyourtexthere.高斯分布高斯分布一元概率分布函数：多元概率分布函数：3.1条件高斯分布（ConditionalGaussiandistribution）假设x是一个服从高斯分布的D维向量，为了讨论条件高斯分布，将x分成两个独立的子集：这两个子集对应的期望为：对应的方差为：3.2边缘概率分布（MarginalGaussiandistribution）经推导，条件概率分布的期望和方差分别为：以为例，其期望和方差分别为：3.3顺序估计（Sequentialestimation）顺序估计适用于在线应用，可以一次只处理一个数据，根据当前数据估计参数值。假设需要被顺序估计的参数为，采用极大似然估计得到：为了进行顺序估计，可以采用Robbins-Monro算法：该算法的特点在于估计值会收敛到根θ*，根满足f(θ*)=0。4共轭分布共轭分布(conjugatedistribution)的概率中一共涉及到三个分布：先验、似然和后验，如果由先验分布和似然分布所确定的后验分布与该先验分布属于同一种类型的分布，则该先验分布为似然分布的共轭分布，也称为共轭先验。比较绕嘴，下面从公式来理一下思路。假设变量x服从分布P(x|θ)，其观测样本为X={x1,x2,...,xm}，参数θ服从先验分布∏(θ)。那么后验分布为:如果后验分布P(θ|X)与先验分布∏(θ)是同种类型的分布，则称先验分布Π(θ)Π(θ)为似然分布P(X|θ)的共轭分布。比较常用的几个例子有：高斯分布是高斯分布的共轭分布，Beta分布是二项分布的共轭分布，Dirichlet分布是多项分布的共轭分布。下面对二项分布给出证明。假设变量x∼Bern(x|μ)，其观测样本X={x1,x2,...,xn}的概率分布为二项分布，P(X|μ)=Cnkμk(1−μ)n−k，k为正例样本个数，假设μ∼Beta(μ|α,β)，那么μ的后验分布为后验分布仍为Beta分布，所以，Beta分布是二项分布的共轭分布。共轭分布不仅使求后验分布计算简单，更重要的是保留了先验分布的类型，使概率估计更加准确。